三省六部是最要害的，楊堅委任他最信任的八人擔任長官：高熲為尚書左仆射兼門下納言，李德林為內史令，虞慶則為內史監兼吏部尚書，韋世康為禮部尚書，元岩為兵部尚書，元暉為都官尚書，楊尚為度支尚書，長孫毗為工部尚書。這八人都是楊堅做丞相以來網絡的心腹，且都是精明強幹的人物。特別是像是高熲，身兼尚書、門下二省長官，權位極重。
楊堅對鄭譯、劉防這幾個人的看法就是：“沒有這幾個人，朕就是沒有今天。但朕知道他們實際上都是反複無常的人，周宣帝時以無賴進幸，宣帝病重，他們為了個人私利，推舉朕輔政。朕要治理國家，他們又跟朕搗亂。對這些人，若任用他們，他們不會老老實實做事；不用他們，他們又牢騷滿腹。”結果，鄭譯得到的僅是第一等勳官官階——上柱國，劉防得到的是第二等勳官官階——柱國。
楊堅在登基的時候，地方上有州201個，郡508個，縣1124個。每個州管轄的郡，僅2個或3個；每個郡也隻管轄2個或3個縣。州、郡、縣都分九等，一般都有兩套職官，一套是由吏部直接任命的，州除刺史外，還有長史、司馬等；另一套是由刺史聘任的，如州都、祭酒從事等。郡也是這樣，除太守、丞由中央任命外，還有一大批由太守聘任的僚佐。縣也是如此。這樣，州、郡、縣官員十分龐大，如第一等州額定官員多達三百二十三人。造成了民少官多、十羊九牧的局麵。開皇三年（583），楊堅下令裁省郡一級行政單位，實行州、縣二級製，又合並了一些州縣，並下令廢除州縣長官聘任的僚佐。這樣，他既節省了開支，又簡化了政令推行的一些的程序。
為了能夠有效地控製住地方，楊堅把子弟分遣到戰略要地，鎮守一方。他們大都是掛著“行台尚書省”長官的官銜出鎮的。行台尚書省簡稱行台省，長官也叫尚書令，相當於中央尚書省在地方的派出機構，總統一方軍政，管區內的州縣都受其節製，權任極重。
不限門第，唯才是舉這是他任用官員的一個準則，通過考試以來取士。文帝本人又躬身節儉，整飭吏治，曾派人巡視河北五十二州，罷免貪官汙吏二百餘人，又裁汰地方冗員約十分之三。
他還在在刑律上，製訂和頒布了《開皇律》。這部新律是蘇威、牛弘等人修訂的。蘇威是武功（今屬陝西）人，牛弘是安定（今甘肅涇川北）人。兩人都博聞強記，精通律令。開皇三年（583），楊堅把製訂新律的重任交給他們，他們廣泛汲取了魏晉南北朝以來的立法經驗，在結了合當時社會的實際狀況下，完成了一代法典《開皇律》。
這一部法典《開皇律》共分了十二篇，五百條，刪除了魏晉南北朝以來一些殘酷的刑罰，定刑名為五種：死刑二，有絞、斬；流刑三，有一千裏、一千五百裏、三千裏；徒刑五，有一年、一年半、二年、二年半、三年；杖刑五，從六十至六十不等；笞刑五，從十至五十不等。為了確保楊氏家天下，又規定“十惡”：謀反、謀大逆、謀叛、惡逆、不道、大不敬、不孝、不睦、不義、內亂，屬於“十惡”的罪犯，從重從嚴懲處，不得寬赦。官僚地主犯罪，隻要不是十惡不赦之罪，都可以減一等，也可以出錢贖罪，還可以用官品來折抵徒刑。
混亂、殘酷北周的法律，在楊堅掌握北周政權時就曾經進行了全麵的改革，但是並不太徹底。隋朝建立後，他在下令製訂《開皇律》的時候，就將原來的梟首（即砍下頭懸掛在旗杆上示眾）、車裂（即五馬分屍）等殘酷刑法予以廢除，保留了律令五百條。而刑罰則分為死、流、徒、杖、笞五種，基本上完成了自漢文帝刑製改革以來的刑罰製度改革曆程，這就是封建五刑製。到了唐朝，將順序顛倒過來，從輕到重，內容基本上繼承，沒有改變。流傳至今最完整的是《唐律疏議》，代表了唐律，其實這也是從楊堅《開皇律》中繼承過來的。
楊堅對我國古代法製建設也是作出了很重要的貢獻的。
在經濟方麵，繼續推行均田製。每個成年男子（18~60歲）給露田八十畝，永業田二十畝；成年女子給露田四十畝。露田死後歸還政府，永業田可以傳給子孫。奴婢也像平民一樣分田，親王的奴隸受田限三百人，一般地主不得超過六十人。每頭耕牛給露田六十畝，限四牛。自親王至都督，給永業田一百頃至四十畝不等。京官自一品至九品，給職分田自五頃至一頃不等，作為俸祿。又減免賦役，輕徭薄賦，與民休息。如改成丁年齡為二十一歲，受田仍是十八歲，服役少三年。又改每歲三十日役為二十日，減調絹一匹（四丈）為二丈等。此外文帝下令重新編訂戶籍，以五家為保，五保為閭，四閭為族。開皇初有戶三百六十餘萬，平陳得五十萬，後增至八百七十萬。為積穀防饑，故廣設倉庫，分官倉、義倉。官倉作糧食轉運、儲積用，義倉則備救濟之需。致力建設的文帝，在原長安城東南營建新都大興城；開鑿廣通渠，自大興引渭水至潼關，以利關東漕運。
通過這些措施、製度的推行之後，強化了君主專製主義中央集權統治，也在一定程度上促進了經濟、文化的發展。不僅是如此，楊堅時厘定的體製，承上啟下，對後世中國封建社會有深遠的影響，特別是中央的三省六部製，地方的州縣二級製，刑法上的《開皇律》，經濟上的均田製，對唐代及其以後的封建王朝都有了重大的影響。