楊堅的一大曆史貢獻是，廢除了曹魏以來的九品中正製，開創科舉製，以考試取士。所以隋文帝楊堅在中國曆史上算得上是一個有功績的皇帝，他對政治體製包括法製的改革，對於唐朝的體製是個直接的影響，實際上，唐朝的體製基本上是隋朝時的翻版，一般我們對唐朝的評價很高，但是，唐朝的很多的製度卻是在楊堅的時候確定的，所以，我們在高度評價唐朝的唐太宗以及盛唐風範的時候，還是應該把功勞分給楊堅一點才公平些。
北周官製多模仿《周官》設置，既亂且濫。楊堅接受崔仲方的建議，恢複漢、魏舊製。設三師、三公及五省。三師不掌實權，不置官署，隻是給予德高望重者的榮譽職銜。三公雖置僚屬，有參與國家大事的責任，但也隻是顧問性質，沒有實權，也不常設。五省才是真正的權力機關，其中，內侍省是宦官機構，主要掌皇宮中瑣事；秘書省掌國家圖書曆法，是比較清閑的地方，二者在政權中不占重要位置。門下省和內史省都是協助皇帝執政的決策機構，掌管機密，共議國政，並負責審查皇帝發布的詔書，簽署大臣的奏章，對皇帝可以提出自己的意見或建議，對奏章可以駁回或進行處理。尚書省是主持日常政務的機構。尚書省置尚書令和左、右仆射各一人，下設吏部，掌管全國官吏的任免、考查、升降及調動等；禮部，掌祭祀、禮儀及接待四方賓客；兵部，掌管全國武官選用和兵籍、軍械、軍令等；度支（後改稱民部），掌管全國土地、戶籍、賦稅、財政收支等；都官（後改刑部），掌管法律、刑獄等；工部，掌管各項工程、工匠、屯田、水利、交通等政令。六部始稱六曹，由左、右仆射分領。六部尚書分掌全國政務，加強了中央集權，後世遂相沿成例。
隋朝的五省六部製，形式上是繼承漢魏舊製，實際是總結了秦漢以來的統治經驗，發展和加強了中央集權的封建國家製度，可以防止外戚大臣專權篡位和地方勢力分裂割據。三省六部的官員品位不高，職權有較明確的分工，有利於皇帝集權和任免官吏。
除了五省六部，還有禦史台、都水台、十一寺和十二府。這些後來基本上成為日本大化革新時參考的內容，如日本的八省製即是把五省和其他的機構融合而成的。到現在為止，日本的行政機構的名稱還保留了隋唐時期的名字：中央的省相當於我國中央的部，但其地方機構是縣，縣長官知事是標準的中國古代名稱，級別相當於我國的省長。其他如北海道、東京都、大阪府，都是從中國學來的名稱。包括日本的和服、日本的仕女長相、裝束等，都是和隋唐時期的中國文化極其相似的，這不是巧合，而是直接學習的結果。
隋建國以前，地方官製極為混亂。公元580年，北周仍實行州、郡、縣三級製，全國有211州、508郡、1124縣。“民少官多，十羊九牧”，造成極大的財政浪費。開皇三年（公元583年），楊堅下令廢郡，實行州、縣兩級製，又合並了一些州縣，裁汰了一大批冗官，既節省了開支，又有利於政令的推行。兩級製也成為後世定式。
北周末年，地方勢力長期威脅中央政府。楊堅專權，也引起地方上的武裝反抗。為有效地控製地方，楊堅規定：九品以上官員全部由吏部統一任免，每年都要接受吏部的考查；後來又規定，刺史、縣令三年換一個地方，避免發展為割據勢力；縣佐不能任用本郡人，以免豪強地主把持地方行政。地方政治的改革，鞏固了中央集權。
北周的刑律殘酷而紊亂。楊堅下令製定《開皇律》，廢除了梟首、車裂等殘酷刑律，隻保留律令500條。刑分為死、流、徒、杖、笞五等，並規定隻要不是圖謀推翻楊氏政權者，不得株連九族。流傳至今最完整的是《唐律疏議》，代表了唐律，其實這也是從楊堅《開皇律》中繼承過來的。楊堅對於我國古代法製建設作出了重要貢獻。
為逃避國家的賦稅、徭役，農民往往虛報年齡，以求躲過納稅年限；豪強地主占有大量依附人口，也想方設法不報戶口。為擴大財政來源，開皇五年（公元585年），楊堅采取了“大索貌閱”和“輸籍定樣”（也稱“輸籍法”）兩項措施。前者即嚴格核對戶口，實行戶籍製度。這一年就檢查出大量的成丁男子，並有很多人被編入戶籍。根據各家資產情況，從輕做出繳納賦稅的標準，寫成“定簿”。這樣，百姓不能逃稅，地方官吏也難以隨意增減克扣，更重要的是把大量依附人口從豪強地主的蔭庇下吸引出來。每年正月初五，縣令派人檢查，重新製定“定簿”，收獲後即以此征收。這兩項措施使國家掌握的人口劇增，增加了財政收入。