在內憂外患都平息以後，楊堅距離皇帝寶座僅有一步之遙了。不久，在文武百官的多次勸諫之下，周靜帝被迫寫好禪位詔書，然後送到楊堅的王府，至此，楊堅終於披上了最高權力象征的黃袍，登上心儀已久的帝位。當時楊堅四十歲。即位後，楊堅把國號改為隋，年號定為“開皇”。這就是曆史上著名的隋文帝。此後楊堅為穩固他的江山，將連同周靜帝在內的宇文宗室都斬殺殆盡。
楊堅代周建隋，對於宇文宗室無疑是一次血腥的屠殺，而對於廣大黎民而言，則是幸運的。楊堅在中國曆史上還算得上是一個有功績的皇帝。因為周宣帝在位時間雖然很短，卻施行嚴刑酷法，大肆征發徭役，令人民苦不堪言。楊堅輔政後，為了更好地治理國家，罷黜了一些沒有才幹的大臣，包括對自己奪取帝位有功的人，並提拔了大量有真才實學的人，修改法律，刪除嚴酷的律條，而且他以身作則，提倡節儉，嚴禁大興土木，這些措施大大地減少了國家的財政開支。他稱帝後，在政治、經濟、軍事等方麵采取了一係列改革，使社會經濟得以恢複和發展。在隋文帝統治的二十年間，天下安定，國庫富足，幾乎達到了後來盛唐的水平。因此，曆史上也將隋文帝的統治稱為“開皇之治”。
南北一戰
楊堅代周建隋後，南方仍處於分裂狀態。陳朝雄據東南半壁江山，後梁立國江陵獨據一方、原梁朝高涼太守馮寶之妻洗夫人留守嶺南。統一的大業落在了隋文帝楊堅的肩上。
隋朝建立之初，隋文帝就試圖統一南方，但那時內亂不斷，突厥等外敵環繞，無暇顧及陳朝，隋文帝隻得暫時與陳修好，不以兵戎相見，處處忍讓。然而，隋文帝一刻也沒有忘記吞並江南，他在耐心地等待著有利的滅陳時機。
隋文帝首先用拉攏與和親的手段使後梁臣服，而後在他即將起兵滅陳之時，率先滅了後梁，為一舉滅陳掃清了障礙。
在此期間，他在國內進行了一係列改革。
一是改革官製，規範了三省六部製；二是簡化地方行政，形成州、郡、縣三級政權；三是對官吏的選拔任用製度進行修正，杜絕腐敗與徇私枉法；四是重新製定法律，《開皇律》的製定為減輕刑罰做出了努力；五是重新對軍隊進行編製，實現了兵農合一，也使少數民族與漢族融合在同一兵役製下；六是招流民開墾荒地，對賦稅進行調整，減輕了農民的經濟負擔；七是整理戶籍，避免了地方官員肆意貪汙的可能；八是設置賑災儲備，在遭受水、旱等災害時，平時積蓄的大量糧食可使受災的饑民得到及時救助，使國家和地方的政權穩定：九是統一貨幣和度量衡，由於各地私自鑄錢的事時有發生，對國家的財政收入和賦稅、軍隊的費用都有極大的影響，所以統一貨幣和度量衡對社會經濟陳後主的發展起到了促進作用；十是提倡儉樸的生活和樸實的文風，有效地杜絕了奢華浪費，扭轉了六朝以來靡麗的文風。經過改革，隋朝出現了欣欣向榮的局麵，國庫充實了，糧食充足了，兵源壯大了，此時已明顯地呈現出北強南弱的局麵，滅陳的時機漸趨成熟。
從開皇五年（585），隋文帝開始了滅陳的具體準備工作。首先是迷惑陳人，隋文帝不斷示弱，以使陳人相信隋朝並不想與陳朝打仗。其次是求謀，隋文帝讓大臣們當參謀，提出自己的滅陳方案，來製訂戰略計劃。他用高熲之計，趁陳人將要收割之際，以小部隊經常假裝襲擾，使其無暇收割，忙於禦敵，從而破壞陳朝糧食儲備。同時連續幾次的假襲擊，如同“狼來了”的效果一樣，使陳人疲敝，為將來出其不意的攻擊做好了準備。刺史崔仲方更是提出了一整套伐陳的軍事部署和具體步驟。另外，朝中的許多大臣也都提出了各自的平陳建議，隋文帝將眾人之策彙總，推出了一套最佳的戰略方案。
接下來就是伐陳的具體準備工作了。隋文帝命人一麵在長江下遊秘密營造戰船，一麵又在長江上遊大張旗鼓地擺出欲進攻陳朝的姿態，弄得陳朝十分緊張，急忙準備發兵。結果發現隻是隋兵在換防。虛驚一場之後，陳人對隋兵的喧鬧漸漸習以為常，也就不再戒備了。
隋朝厲兵秣馬，陳朝卻是歌舞升平。當時陳朝的皇帝是陳後主，這是一個有名的荒淫皇帝。他大興土木，建造豪華綺麗的亭台樓閣，其裝飾之華麗無以倫比，並以植奇花異草等作為點綴，每當微風吹來，香飄數裏。陳後主並不滿足於這片不會說話的風景，他還要用絕色美人點綴他的園林樓閣。陳後主身邊有眾多的嬪妃，他最寵愛的是張麗華。她最初隻是個侍女，天生麗質、氣質超人的她令陳後主一見傾心，十分喜愛，封為貴妃。此後，她便與其他嬪妃一起終日與陳後主飲酒嬉戲。而陳後主也是一個風流君王，詩詞歌賦樣樣精通，但就是不精通治國，因此他更樂於與美人、大臣吟詩作對，譜曲編舞，《玉樹後庭花》、《臨春樂》就是其中比較著名的歌曲。陳後主漸漸荒於朝政，他討厭聽到不好的消息，凡是報喜不報憂的必得他寵信，致使後宮嬪妃不但參與朝政，而且還勾結宦官買官賣官禍亂國家。他們還借助陳後主排擠正直官員，加重賦稅，盤剝百姓。同時，又奪去武將兵權，用文官統領軍隊，造成文武解體。而陳後主對此卻不聞不問。