“知县”之“知”本意为管理、主持的意思，“县”是古代行政单位，知县就是管县，管理、主持一县的政务。
秦朝在全国推行“郡县制”，起初，秦在新兼并的边地设县，后来又推行到内地。县的长官称为县令或县长。这一称谓一直延续到唐代。
唐朝称佐官代理县令为知县事。宋常派遣朝官为县的长官，管理一县行政，称“知县事”，简称知县，如当地驻有戍兵，并兼兵马都监或监押，兼管军事，官秩多是七品。知县的助手有县丞、主簿等。县丞协助知县管理县政，主簿管理全县的粮税、户籍等。
元代县的主官改称县尹，明、清以知县为一县的正式长官，正七品，俗有“七品芝麻官”之称。