為了加強中央與地方的關係，唐太宗改革官製，革除舊弊。
縱觀中國古代曆史，凡是改朝換代之初，統治者總要進行一次革新運動。其規模的大小、改革力度、對社會實際問題的認識程度以及對改革的調控能力等，直接決定著改革的成功與否。
隋文帝楊堅逼周靜帝退位，建立隋朝後，他在政治、經濟、軍事、文化、法律等眾多領域進行了一係列改革，使得中國社會在經曆了東漢末年以來的動蕩之後，開始從戰亂走向了平穩，隋文帝統治的開皇時期也因此備受史家讚譽，稱之為“開皇之治”。
不過，這種“開皇之治”如果能堅持下去的話，隋朝也就不會滅亡了。原因就在於隋文帝沒有把這種改革繼續作為一種長期治國方針堅持下去。最終使得改革成果不斷遭到破壞。到了隋煬帝時期，隋朝政治、經濟乃至文化等方麵均陷入混亂狀態，隋朝也在農民起義的打擊下而滅亡了。
玄武門之變，李世民登上皇帝寶座之後，由於他親眼目睹了隋朝整個的滅亡過程，同時深刻地感悟到隋朝之所以短暫而亡，就是因為君主昏庸，且政治體製中存在著種種的弊政。所以，太宗在即位之初，便決定製定出一套順應社會發展實際需要的改革方針，以維護李唐王朝的江山社稷。
基於這種思想的考慮，唐太宗推行了一套自己的改革製度。
首先，唐太宗對魏晉以來形成的三省製度進行了適當的改革，對三省的職權及其相互製約關係做出了明確規定，創建了中國曆史上新的宰相製度，從而進一步加強了君權，國家權力機關的種種弊端，使得宰相製度愈加完善。
唐太宗確定的三省中，尚書省是執行政令的最高行政機關，下屬吏、戶、禮、兵、刑、工六部。因唐太宗曾擔任過尚書令，所以尚書左、右仆射便成為尚書省最高長官。在尚書省有唐太宗非常信任的房玄齡、杜如晦二人領導，史稱“玄齡善謀，如晦能斷故也。二人深相得，同心殉國，故唐世稱賢相，推房、杜焉。”
三省中的另外兩省，即中書省，負責取旨製定政策，中書令為最高長官，下屬中書舍人若幹，負責進奉章表，草擬詔敕策命，即所謂“中書出詔令”；門下省主管封駁審議，最高長官是侍中，下屬給事中若幹，負責對中書省所擬定的詔敕提出不同意見，塗竄奏還，即所謂“門下掌封駁”。
三省之中，中書省與門下省相互製約，關係密切，唐太宗稱之為“機要之司”。正如他所說：“國家本置中書、門下，以相檢察，中書詔敕或有差失，則門下當行駁正。人心所見，互有不同，苟論難往來，務求至當，舍己從人，亦複何傷？比來或護己之短，遂成怨隙，或苟避私怨，知非不正，順一人之顏情，為兆民之深患，此乃亡國之政也。”
三省長官均為宰相。由於尚書省有房玄齡、杜如晦兩位得力大臣，而負責製定政策和審議封議重任的中書、門下兩省沒有十分理想的人選，唐太宗便一改往日門朝做法。他主張集思廣益，通過宰相人數的增加，使得宰相個人權力分散。當然，最後的裁決權還是由皇帝說了算的。
不過，由於宰相議事時皆“堅守直道”，各抒己見，“滅私徇公”，這也就保證了決策的全麵性和正確性，充分發揮三省的討論、封駁、執行功能，充分發揮集體的智慧，從而也就減少了決策的失誤。可以說唐太宗在中央官製改革方麵，不僅保證貞觀時期“鮮有敗事”，而且還巧妙地解決了君權與相權的爭端問題。
在對三省六部進行改革的同時，唐太宗從貞觀元年開始對三省六部官員也進行了相應的調整。蕭瑀、陳叔達等一批武德老臣被罷免相職，長孫無忌、房玄齡、杜如晦、李靖、王珪、魏征、溫彥博、戴胄、侯君集等一批才幹突出的大臣被提升到新的宰相位置。隨著宰相集團建立，太宗已經在自己集權統治下輕易地做到遊刃有餘。需要特別指出的是，正是由於宰相集團的鼎盛，才使得太宗的統治時期中出現人才濟濟局麵，這在中國的曆史上是少有的。