“知府”由“知”和“府”結合而成。“知”是管理的意思，《左傳》中說“子產其將知政矣”，就是說子產將要主持政事了。府在我國古代是一級地方行政單位。魏晉時期，州刺史兼任將軍之職，州刺史是文職，將軍是武職。州有州的衙門和幕僚，將軍另外有將軍的衙門和幕僚。將軍的衙門，就叫做“府”。
到了唐朝，中央政府在首都、陪都以及皇帝登基前任職的州設置府。府的長官，統稱府尹，如京兆尹、成都尹等。
宋朝時，府的設置逐漸多了起來。府隸屬於路（路是介於中央與州之間的一級行政區劃）。府的地方長官稱為知某府事，簡稱知府。宋朝的知府總領一個州府的軍政事務，具體權力因不同的州府而稍有差異。因為各地情形不同，知府一般還會兼領其他的官職，因而邊境州府的知府在軍事和政事上的權力可能大於一般州府。
明、清兩朝，省、縣之間的一級行政單位被稱做“府”。除了首都、陪都所在地的府長官仍然稱府尹外，一般的府長官，都稱做“知府”，意思是“知（即主持）某府事”。
知府之下，設同知、通判等官員，輔佐知府處理公務，分掌糧稅、鹽稅、江海防務、水利，等等。
在明朝，按照繳納稅糧的多少，“府”被分成三等：納糧20萬石以上為上府，20萬石以下，10萬石以上為中府，10萬石以下為下府。當時，全國有150多個府。
清朝時，各府因自然條件的差異、人口多寡、路程遠近，相互間的差別也很大，但一般都為四品官。