這消息傳到隋廷，煬帝召來楊素商議。楊素從容製訂計策，請求親自出馬。楊素果然是個老將，擅長謀略，他隻率領五千輕騎，連夜趕到河濱，征收數百艘商船，上麵搭著草席，載著士兵悄悄渡往蒲州。紇單貴沒有防備，天亮了才起來，這時楊素已率兵登岸殺來，紇單貴倉促遇敵，怎麼和楊素的軍隊交鋒呢？紇單貴手下的官兵早已一哄而散，隻剩他一人騎馬逃了回來。楊素領軍來到蒲州城下，王聃見形勢不妙，便立即出城投降。楊素一邊入城安民，一邊上書報捷，煬帝召楊素回朝，授封楊素為並州道行軍總管，兼河北道安撫大使，統領大軍，再次出發征討楊諒。楊諒聽說隋軍大舉而來，自己親自前往介州堵截，命府主簿豆盧毓和總管朱濤留守並州。豆盧毓是楊諒妃子的兄長，曾阻止楊諒起兵，楊諒不肯聽從。豆盧毓私下對弟弟說道：“如果我單槍匹馬回朝，確實可以免去殺身之禍，但這隻是為我個人打算，不是為了國家考慮，現在我隻能靜觀時局的變化了。”後來，豆盧毓和朱濤負責留守並州，他召來朱濤商量道：“漢王同朝廷作對，必不得善終，我們怎能坐以待斃，辜負國家呢？此時我們應當一起出兵起事，不讓叛王入城。”朱濤大驚失色地說道：“漢王將大事托付你我二人，你怎麼能說出這種話？”朱濤便拂袖離去。豆盧毓見朱濤不肯依從，竟起了殺心，立即率左右去追趕朱濤，把他殺死。他又從獄中放出皇甫誕，一同協商反叛楊諒，並且與開府儀同三司宿勤武等人關閉城門拒迎楊諒。豆盧毓這邊還沒有部署好，已有人火速通報楊諒，楊諒急忙回城，西門的守卒迎楊諒入城，豆盧毓和皇甫誕全都被殺死。
楊諒的大將餘公理從太行山進軍來攻打河陰，隋行軍總管史祥對軍士說道：“餘公理輕率無謀，而且恃眾生驕，如果能智取，一戰就可將其擊滅。”於是，史祥將船隻聚集在南岸，假裝要渡河，實際上卻率領精銳悄悄到達黃河下流，乘夜渡河。餘公理隻防守在南岸，聚集兵力抵禦，哪知史祥從旁邊殺出，他一時措手不及，隊伍被殺亂，再加上對麵的隋軍乘機渡河，也來夾攻餘公理。餘公理逃命要緊，當即奔逃回來，他的部下死了一半，逃了一半。楊諒的部將綦良剛從滏口攻打黎州，屯兵白馬津，一聽說餘公理敗逃回來，史祥的軍隊正乘勝殺來，便嚇得魂飛魄散，不戰自潰。隻有代州城還在圍困之中，李景和喬鍾葵相持了一個多月。朔州刺史楊義臣奉詔前來支援，走到西陘地帶，聽說喬鍾葵調頭回來迎擊自己，他擔心手下的兵力不足恐不能抵擋，於是想出一個辦法，他取出軍中數千頭牛驢，令數百人各拿一麵鼓，暗中躲藏在山穀間，然後帶兵迎擊喬鍾葵。當時天色已晚，兩軍初次交鋒，楊義臣命令穀中的伏兵，驅趕著牛驢，鳴鼓前進，頓時塵埃蔽天，喧聲動地。喬鍾葵懷疑有埋伏，再加上天色昏暗，無法細細辨明，不由得紛紛倒退。楊義臣又縱兵奮擊，大破喬鍾葵的軍隊，喬鍾葵落荒而逃，代州城解圍。楊素率四萬兵馬沿途招降叛軍。晉、絳、呂三州都到軍前投誠，楊諒派遣部將趙子開率領十萬大軍，切斷路口，設上路柵，屯兵據守在高山上，營帳長達五十裏。楊素命令諸將攻打路柵，自己帶領騎兵潛入霍山，攀藤而上，繞到趙子開大軍的後麵，擊鼓縱火，直搗趙子開的各路營帳。趙子開被殺得措手不及，麾眾急退，慌亂中自相踩踏，死傷好幾萬人。
楊諒得知趙子開兵敗的消息後，很是驚惶，於是率領十萬人馬出城防守嵩澤。這時秋雨連綿，不便行軍，楊諒想領軍退回，諮議參軍王頍說道：“楊素孤軍深入，兵馬疲勞，我們隻要率領銳騎前去攻打，定能取勝。現在我軍未戰就先退卻，隻會擾亂軍心，等到楊素的軍隊長驅而來，又有何人願為王爺效力呢？”楊諒沒有采納這個建議，一意孤行地退守到清源。王頍是梁朝王僧辯的兒子，頗有謀略，他見楊諒不肯聽從自己的建議，就退回來告誡兒子說：“漢王必敗，你應該跟隨我離開此地，以免被抓。”於是，王頍等人秘密整理行裝，伺機逃走。還有陳氏舊將蕭摩訶也跟隨在楊諒麾下，這時已七十三歲，楊諒對他很是倚重。等到楊素領軍進逼時，蕭摩訶率眾出戰，將士們都鬥誌全無，單靠一個蕭摩訶又有什麼用，反倒被楊素的軍隊擒去。楊諒舍棄清源又退守到晉陽，他本來倚仗王頍、蕭摩訶為左右手，偏偏一個逃走一個被擒，害得他兩臂俱失，更加焦急憂心。楊素軍隊又乘勝攻城，圍得像個鐵桶一般，眼看著是朝不保夕，隻好登城請降。楊素答應免他死罪，楊諒立即開城迎接楊素，楊素把他押送到長安後，再分兵搜捕其餘黨，有的投降，有的被殺，全部被蕩平。王頍想投奔突厥，無奈道路險絕，自知不可能到達，便自刎身亡了。他臨死前曾囑咐兒子，不要去故人家中躲避。王頍的兒子就在石窟中埋葬父親的屍體，自己也在山穀內躲避數日，無處找尋食物，不得已違背父訓，出山找故人幫忙。果然被朋友出賣，將他獻到軍前，也因此得到王頍的屍體，拉到晉陽砍下首級。蕭摩訶也被處死。並州的官民因楊諒而牽連受罪，死的死，逃的逃，一共有二十餘萬人家。楊諒雖然免於一死，但終生被廢為庶人，幽禁在別室，抑鬱而死。隋文帝的五個兒子，除煬帝楊廣外，已經死了三人，隻有蜀王楊秀被廢幽禁，還沒被殘害，後文自有交代。
話說煬帝平定並州後，又開始恣意淫樂，坐享太平。隻是宣華、容華兩位夫人始終不便明目張膽地收為嬪禦，隻好安排她們住在別的宮殿中，有時私下前去續歡。這事卻被蕭妃看破玄機，她對煬帝冷嘲熱諷了一番，說得煬帝良心發現，也感到很慚愧，煬帝整天悶悶不樂地坐在宮中，感覺非常無趣，便想要外出巡遊。恰巧術士章仇太翼乘機奉承煬帝道：“雍州地居於酉位，酉屬金，與陛下木命相衝，不宜久居。而且讖文上說：‘修治洛陽還晉家，’陛下何不營建洛陽，應驗這句話呢？”煬帝聽後非常高興，立即留下長子晉王楊昭鎮守長安，自己則率領妃嬪大臣等前往洛陽遊玩。同時，煬帝征發數十萬民夫挖掘溝塹作為防禦，從龍門一直挖到上洛，還在險要地帶設置關卡；又改洛陽為東京，建造大型宮殿。當時煬帝還裝模作樣地頒了道不許鋪張的詔書，他的目的也隻是掩人耳目而已。一班曲意逢迎的官吏奉命監工，晝夜趕建，先造了幾座大廈作為行宮，方便煬帝隨時居住，煬帝就在洛陽度過殘冬。