“知府”由“知”和“府”结合而成。“知”是管理的意思，《左传》中说“子产其将知政矣”，就是说子产将要主持政事了。府在我国古代是一级地方行政单位。魏晋时期，州刺史兼任将军之职，州刺史是文职，将军是武职。州有州的衙门和幕僚，将军另外有将军的衙门和幕僚。将军的衙门，就叫做“府”。
到了唐朝，中央政府在首都、陪都以及皇帝登基前任职的州设置府。府的长官，统称府尹，如京兆尹、成都尹等。
宋朝时，府的设置逐渐多了起来。府隶属于路（路是介于中央与州之间的一级行政区划）。府的地方长官称为知某府事，简称知府。宋朝的知府总领一个州府的军政事务，具体权力因不同的州府而稍有差异。因为各地情形不同，知府一般还会兼领其他的官职，因而边境州府的知府在军事和政事上的权力可能大于一般州府。
明、清两朝，省、县之间的一级行政单位被称做“府”。除了首都、陪都所在地的府长官仍然称府尹外，一般的府长官，都称做“知府”，意思是“知（即主持）某府事”。
知府之下，设同知、通判等官员，辅佐知府处理公务，分掌粮税、盐税、江海防务、水利，等等。
在明朝，按照缴纳税粮的多少，“府”被分成三等：纳粮20万石以上为上府，20万石以下，10万石以上为中府，10万石以下为下府。当时，全国有150多个府。
清朝时，各府因自然条件的差异、人口多寡、路程远近，相互间的差别也很大，但一般都为四品官。