用和親和修築長城來抵禦突厥，這樣隋文帝沒有進行大規模的戰爭，便得到了北部邊境的安寧，隋王朝得以集中力量南下，實現中國統一。
南滅陳朝
此時，南方的陳王朝在陳叔寶的統治下已腐朽到極點，國家資產枯竭，勞役無窮盡，百姓困苦萬分，陳已失去統治的基礎。隋文帝進行了充分的準備。在長江中上遊大量造船隻，在下遊準備渡江。隋文帝又下詔書曆數陳叔寶的罪狀，並印製了幾十萬份在江南和陳軍中廣為散發，一方麵鼓舞了自己軍隊的士氣，另一方麵也起了瓦解敵軍的作用，使隋軍在進攻之初，便在政治上、軍事上處於有利地位。
開皇八年（588）秋，隋文帝命晉王楊廣為主帥，發兵51萬，東起渤海，西至今四川，在整個長江沿線水陸並進，向陳發動了大規模進攻。這時陳王朝共有兵力不過10萬，而君臣們都依仗長江天險和“金陵王氣”，仍生活在花天酒地之中，麵對隋的全麵進攻，陳首尾不能相顧，根本無力抵抗，僅三個月的時間，隋便消滅了陳，實現了統一中國的大業。戰爭的迅速結束，大大減少了對社會的破壞程度和對人民造成的痛苦，受到各族人民的熱烈歡迎。
當南下軍隊回到長安後，隋文帝下令獎賞有功將士，同時免去原陳朝管轄地區的10年賦役，發展農業生產。他還認識到，戰爭已經結束，要盡可能消滅一切可能危及他的統治的隱患，於是下令在陳邊疆和京師守衛軍隊以外，其餘的兵器等軍事裝備應立即停止製造，民間兵器應全部銷毀；軍人子弟應盡力改學文，功臣後代應熟讀一經，把尚武之風變為習文之氣。開皇十五年（598），楊堅又下令收繳天下所有兵器，若發現私自打造者嚴懲。這些措施說明楊堅希望老百姓各安其業，老老實實做他的順民，但也對生產的發展和社會穩定起了一定的積極作用。
建國的改革措施
在天下基本穩定後，楊堅實行了一係列改革措施，以鞏固他的統治。
在官製方麵，北周官製多模仿《周官》設置，既亂且濫。隋文帝廢除北周官帛，恢複漢魏舊製，並加以調整，建立起一整套相當嚴密的政治機製。設三師、三公及五省。三師隻是給予德高望重者的榮譽職銜；三公也隻是顧問性質，沒有實權，也不常設；五省才是真正的權力機關，其中內侍省和秘書省分管宮中瑣事與國家圖書曆法，不占重要位置，最重要的是門下、內史和尚書這三省。門下省和內史省是協助皇帝執政的決策機構，掌管機密，共商國政，並負責審查皇帝發布的詔書，簽署大臣的奏章，對皇帝可以提出自己的意見或建議，對奏章可以駁回或進行處理。尚書省是主持日常政務的機構，下設吏、禮、兵、刑、戶、工六部。隋文帝創三省六部製對中國曆史有巨大貢獻，正如秦始皇創三公九卿製為漢以後各朝所沿襲，隋文帝創隋製，為唐以後各朝所遵循。
在農業方麵，隋文帝沿用北魏以來的均田製，規定每個成年男子可以受露田80畝。永業田20畝，成年女子隻受露田40畝。奴婢分田數量與一般農民相同，收入歸主人所有。永業回歸自己，露田在死後歸公。隋文帝推行的均田製當然包括貴族官僚甚至包括其奴婢耕牛的分配土地，但畢竟為一般農民提供了一定量的土地，出現一大批自耕農。自耕農的大批出現及其經濟的發展是封建經濟發展的基礎。有的史學家認為均田製的實施是中國封建經濟史上的一件大事。孟子所理想的井田製，以均田製的形式付諸實施，隋朝以及後來唐朝經濟比兩漢南北朝經濟有進一步的發展，均田製起著積極影響。
隋文帝所定製度，是總結秦、漢至南北朝時期時的製度，從而提高到新的階段，唐以後曆朝的製度都可以上溯隋製，特別是唐朝。唐朝重要製度，都在貞觀時期製定，基本上沿襲隋製。
隋文帝也關心群眾生活。他常派人潛聽吏治得失、人間疾苦。關中鬧饑荒時，他聽說百姓吃豆屑雜糠，便深深自責，將近一年不吃肉。他注意寬恤民力，與民休息，即位不久就把宮中五千頭驢無償分賜給貧苦農民，並禁止官吏放高利貸剝削農民。至隋文帝晚年時，國家糧庫暴滿，民戶也增至890萬。《隋書》評論在隋文帝的統治下，“君子鹹樂其生，小人各安其業，強無淩弱，眾不暴寡，人物殷阜，朝野歡娛”（每個人都能安居樂業，大家相處融洽，物資堆積）。這也反映了隋文帝統治下國家的興旺昌盛。