在《史記》中經常會出現這樣的字樣:國除，設郡。當一個王國被中央政府削去後，原王國的國土就被設成郡，由皇帝直接任命政府官員管理。滅除分封，設立郡縣，是漢初政治架構的重要組成部?分。
最早的縣與郡就產生於戰國時期的楚、秦兩國，在戰國紛爭的局勢中，有遠見的國君開始嚐試分封之外的治國辦法。
郡縣製度的設立，主要是在兼並戰爭中出現的。強國兼並了四鄰的小國，每滅掉一個小國，就把這個地方變成一個縣，不再實行分封，由國君派出官吏去進行管理，原來的小國就消失了。
《左傳》中記載，第一個設立行政縣的國家是楚國。楚武王滅掉權國，將其改建為權縣(今湖北當陽縣)，是為設縣的開始。楚武王設權縣後不久，權國原國君鬥緡反叛，楚武王捕殺了鬥緡，然後將權縣遷到今湖北荊門市。
從此以後，楚每滅一國，就將該國設縣。到春秋後期，楚國大致在國內設立了二十幾個縣，縣製也開始逐漸由楚國推行於中原地區。到了戰國時期，戰國七雄都相繼在國內設縣，並逐漸將這一製度確立下來。
縣的最高長官為縣令，直接由國君任免。縣之下又設有鄉、裏，基本可以與今天的鄉鎮、村等基層組織單位相對應。縣製與封建製度下的封邑有很大的區別，國君直接控製縣的政治組織和軍事組織，特別是對縣有征賦的製度，便於國君對該地資源的直接調控。
有一件事足以證明縣製在諸侯爭霸戰爭中的重要性。《左傳》記載，成公七年，楚攻打宋國，令尹(相當於國相)子重請求楚王將申、呂兩個縣做為封地賞給自己(子重請取於申、呂以為賞田)，申縣縣令巫臣說不可以，他認為申、呂二縣的賦製(按照土地的優劣等級征收軍賦)是抵禦北方諸國的有力製度，如果將申、呂二縣改為封地，晉國與鄭國就會打到江漢平原了(不可。此申、呂所以邑也;是以為賦，以禦北方。若取之，是無申、呂也，晉鄭必至於漢)。楚莊王認可了巫臣的意見，沒有將申、呂二縣封給子重。
郡的設置比縣晚一些。《國語?晉語二》記載，秦穆公九年(前651)，晉公子夷吾對秦國使者公子縶說:“秦君有的是郡縣土地，我再奉上黃河以西的五座城邑(君實有郡縣，且入河外列城五)。”這是秦國設郡的最早記載。
而後，晉、趙、吳相繼設置了郡。這一時期郡的地位比縣低，並且縣與郡之間也沒有統屬關係。到了戰國時期，國與國的邊界設郡之風日盛，內地的縣也逐漸增多，需要建立起更高一級的管理機構，於是就形成了郡、縣兩級製的地方管理體係。郡守為一郡之長，多由武官充任，有領軍征兵之權。至戰國末年，各國郡縣製度就基本確立?了。
縣製的實施自春秋前期開始，就開始邁向了擺脫舊有分封製束縛的道路，至戰國後期郡縣製度的最終確立，為君主集權製這一新的政治體製的建立打下了堅實的基礎。
秦始皇是中國曆史上第一個廢除分封的皇帝，他將天下分為三十六郡，各郡長官實行任期製，直接聽命於皇帝。然而，這種與傳統完全分裂的變古革新，並不為當時的臣民所理解。
北京大學曆史學係教授?陳蘇鎮
在秦建立了帝國之後，秦一下子就廢除了分封製，設立了一種三公九卿的政治框架。究其原因，是由於管理這麼一個龐大的帝國，這是前所未有的。地方實現了郡縣製，郡縣長官要對朝廷負責的，這個朝廷的事務比過去大大增加，需要建立一個比較健全的、比較大的中央機構進行管理，所以要設立三公九卿。各個部門分掌各自的事務，用一種製度來管理一個前所未有的大帝國。公卿製度周代就有，但是沒有三公九卿這麼大一個規模，戰國時代各國也都有相、有將，也沒有看到有三公九卿這樣一個製度，這個製度應該是從秦開始建立的，後來漢朝繼承。
公元前214年，秦建立帝國後的第七年，博士淳於越向秦始皇提出了一項敏感的政治主張，他請求皇帝重新恢複分封製:“臣聽說，殷周兩朝能夠建國千年，是因為實行了分封製度，子孫做為封國的王可以輔佐朝庭。而今陛下統一天下，但是子孫都沒有封國，一旦有變故，誰能拯救朝庭呢?不去效仿古代而能長久的國家，從來沒有聽說過。”(臣聞之，殷周之王千餘歲，封子弟功臣自為支輔。今陛下有海內，而子弟為匹夫，臣無輔弼，何以相救哉?事不師古而能長久者，非所聞也。)