一次在宴會上，唐太宗麵對眾宰相，對坐在帝邊的王珪說：“卿識鑒精通，複善談論。玄齡以下，卿宜悉加品藻，且自謂與數子如何？”
王珪沉思片刻，回答說：“孜孜奉國，知無不為，臣不如玄齡。出將入相，臣不如李靖。敷奏詳明，出納惟允，臣不如溫彥博。處繁治劇，眾務畢舉，臣不如戴胄。恥君不及堯舜，以諫諍為己任，臣不如魏征。至於激濁揚清，嫉惡好善，臣於數子亦有微長。”唐太宗聽完了王珪的話後，頓時拍手叫絕，“深以為然，眾亦服其確論”。他覺得王珪對眾人及他本人的評價精當至極，恰到好處，感歎之餘，進一步增加了其推行改革的信心。
唐太宗對宰相班子進行大刀闊斧的改革之後，又對繁冗的官僚機構進行了精簡，這就大大提高了各級官員的辦事效率。
唐太宗即位之初，就一再強調要“量才授職，務省官員”，認為“若得其善者，雖少亦足矣；其不善者，縱多亦奚為？”因此他要求房玄齡重新核實、確定中央各部門的官員定額，最後將中央的文武官員總數定為640人，太宗非常滿意地說：“吾以此待天下賢才足矣。”
由於唐初人們多重視京官而輕視地方官，就連士大夫也以任京官為榮。針對這種不良現象，禦史馬周上疏稱：“治天下者以人為本，欲令百姓安樂，惟在刺史、縣令。縣令既眾，不可皆賢，若每州得良刺史，則合境蘇息……朝廷必不可獨重內臣，外刺史、縣令，遂輕其選。”
馬周的上疏引起了太宗高度重視，他決定由自己親自選任刺史，縣令則由五品以上京官舉薦。這樣一來便在一定程度上改變了地方刺史、縣令人非其才的局麵，隨著地方吏治的調整，地方百姓受苦受難的日子也有所好轉。
同時，唐太宗還注意到全國各地大量郡縣的設置嚴重影響了自己的統治，因此他在這一方麵也做出了相應的改革。
早在隋煬帝時，統治者就為了改變南北朝以來“十羊九牧”吏多民少的不正常現象，將地方行政區劃由州、郡、縣三級製改為州、縣二級製。但是由於隋朝末期，天下喪亂，“豪傑並起，擁眾據地，自相雄長”，唐朝建立之初，為了安撫這些歸降的各地豪傑，紛紛設置州縣來安置他們，“由是州縣之數，倍於開皇、大業之間”。但此時這種舉動已經完全沒有必要。因此，唐太宗針對這種情況，采取了大加並省的措施，下令省並州縣，地方隻設州、縣二級，取消郡一級。至貞觀十四年（公元640年），全國共有州府358個，縣1551個，大大少於武德時期的郡縣設置。太宗通過並縣製度的推行，使得每個州縣的轄區增加，人口增多，而官吏人數減少。這不僅減少了政府行政上的開支，提高了地方政府的工作效率，同時也減輕了百姓的負擔。可謂一舉兩得，一箭雙雕。
為了進一步加強中央政府對地方的控製，唐太宗又根據山川形勢將全國劃分為十道，即關內、河南、河東、河北、山南、隴右、淮南、江南、劍南、嶺南。十道設置後，朝廷不時派出黜陟大使、風俗使、觀察使到各地“觀風俗得失”，“察政刑之苛弊”，對地方官的政績進行考核。
總之，唐太宗對中央政府和地方行政機構的改革，不僅在當時產生了良好的效應，而且對於後世也具有積極的借鑒意義。這些改革舉措，其實都是唐太宗根據社會發展的實際需要而推出的；這些改革的成功，不僅向我們顯示了唐太宗李世民作為一代明君的賢能智慧，還向我們揭示了一條亙古不變的真理：隻有改革才能求發展！
唐太宗在建國之初，兢兢業業，謹慎治國，同時又敢於創新，提倡改革，從而把唐朝的強盛又推向了一個新的高度。