其實國內的動亂早有征兆。
四月十五日，王薄、高士達、孫安祖、孟海公等河北一帶的義軍在豆子崗會盟，公推王薄為盟主，高士達、孫安祖為副盟主，其後高、孫二人率本部十餘萬人馬、號稱五十萬，南下齊郡。齊郡郡丞張須陀兵力不足，不戰而連棄高苑、臨濟、鄒平三縣之地，終於在四月二十一日以三萬郡兵埋伏在臨邑城東三十裏，和馳援而來的魯郡郡守鄭善果的兩萬援軍南北夾擊，大敗高士達和孫安祖，斬首萬餘，俘虜數萬，餘者四潰。張須陀乘勝追擊，四戰四勝，高士達與孫安祖攝於張須陀的威名，加上糧草不濟，遂退出齊郡，並分兵三路襲擾北海、渤海、濟北三郡，齊魯大地兵鋒四起，生靈塗炭，亂作一團。而王薄、孟海公和張金稱等人則潛伏豆子航不出，不知作何打算。
在河南，在四月初一日十四路叛軍在瓦崗會盟，號稱三十六路，共推翟讓為首，杜伏威為副，集眾二十萬，於四月初三下山，兵鋒直指東都。四月初七，在封丘境內大敗劉長恭與裴仁基統帥的官軍，斬首兩萬餘，虎賁郎將劉長恭以下大小將校三十餘人被擒後，竟遭賊將左孝友剖腹挖心，生啖而食！消息傳開，隋軍非但未起同仇敵愾之心，反而聞風喪膽，重鎮陽武、圃田守軍不戰而逃。四月十二，原武失陷，近萬守軍連同滿城大小官吏盡遭屠戮，東都東翼屏障僅餘滎陽、尉氏兩座孤城尚存自保之力，也是危在旦夕。消息傳來，東都震動，無論達官貴人還是平頭百姓紛紛收拾細軟，西逃關中。為扭轉被動形勢，兵部尚書楊玄感請示坐鎮東都的越王楊侗，派遣民部尚書樊子蓋和刑部尚書衛玄分別統兵兩萬增援滎陽和尉氏，他自己則親率留守東都的最後十萬大軍，兵分兩路進駐東都的咽喉汜水、陽城，作出隨時增援滎陽、尉氏以壓製叛軍的姿態。
當所有人都以為一場大戰即將登場之時，真正登場的隻有楊玄感一個人。
四月廿三日，大隋兵部尚書楊玄感在朝議時突然發動，拘押越王楊侗，殺皇族以及不肯附逆之重臣七十餘名，控製東都洛陽。同時傳檄天下，稱楚王，曆數隋帝楊廣違背天和、荼毒萬民、禍亂天下之大罪十六，小罪七十二，宣布吊民伐罪，討伐昏君。同時號令天下雲集響應，贏糧而景從。
與原來的曆史相比，這回楊玄感造反的條件真是太好了。人家這回是兵部尚書，手握兵權，再也不用拿些什麼民役船夫湊數，駐守東都的十萬雄兵幾乎在第一時間就被他控製在手心裏。而且這回起事的地方不是黎陽，而是東都洛陽，李密給他出的上中下三策幾乎兵不血刃就搞定了第一個目標。更妙的是，在河北，當地義軍不但抱成團還發了瘋，不去老老實實的搶糧食搶銅錢搶女人，偏偏跟平時躲還躲不及的官兵較上了勁。一邊堅壁清野一邊從漁陽到涿郡連設四道防線，似乎打定主意要跟歸國平叛的皇帝死磕到底。在河南，楊玄感最忌憚的是民部尚書樊子蓋和刑部尚書衛玄早早讓他攆出了東都，現在被困在滎陽和尉氏，陷入了人民戰爭的汪洋大海，對楊玄感的所作所為除了破口大罵以外毫無辦法。
這回楊玄感的運氣實在是太好了，哪怕他還像原來那樣二百五，也擋不住他稱雄天下的腳步了吧？
可是他的運氣還不止於此。
五月初一，從高句麗歸來的隋軍前鋒在漁陽郡雙璧山遭遇河北義軍伏擊，緊隨而來的十幾萬官兵將其團團圍住，在血戰五日、付出傷亡上萬的代價才攻下雙璧山主寨時，發現山上居然隻有區區三千人，而且個個戰死、無一投降。
河北義軍戰意之堅決、作戰之勇猛讓除了皇帝以外的將軍們深感棘手，事實也證明了他們的預感無比正確。隨著隋軍深入河北，遭到的抵抗也愈加猛烈，而且義軍的裝備條件也大為改善，不僅普遍用橫刀鐵矛代替了柴刀木棍，還大量配備了強弩硬弓，甚至出現了伏遠弩、木車弩和投石機等重型武器，要說背後沒有來自官府、世家的支持連鬼都不信。而且作為東征大軍主力的山東子弟，也在不明身份人士的煽動下，大量逃亡和反水，導致隋軍南下之行愈發艱難，終於在五月中旬被阻於涿縣、固安、雍奴一線再也動彈不得。可憐隋軍大半的糧草軍械丟棄在了高句麗，將無鬥誌兵無戰心，麵對裝備簡陋卻悍不畏死的義軍束手無策，逃卒倒是數不勝數。楊廣連發十餘道諭旨要求各地增援，卻是應者寥寥。
四月廿七日，楊玄感倒隋檄文恐怕還沒傳出河南道，河南、河北的各路義軍和部分郡縣的太守、縣令便未卜先知般的群起響應，奉楊玄感為主，甘為下屬，服從指揮。又過一天，舉事各方派出宣誓效忠的信使怕是還沒跑出百十裏地，楊玄感也跟著心有靈犀一點通，宣布任命翟讓為河南道行軍大總管、杜伏威為江淮道行軍大總管、竇建德為河東道行軍大總管，統帥本部平定地方，征討不臣。任命王薄為河北道行軍大總管，於涿郡阻擊隋帝大軍，孫安祖、高士達為河北道行軍副總管，由渤海郡、河間郡北上側擊之。同時，楊玄感親率十萬大軍東出洛陽，與翟讓部合擊滎陽、尉氏。
四月廿九日，楊玄感與翟讓部會師於滎陽城下，集兵三十萬，號稱百萬，不分日夜狂攻滎陽。曆三日滎陽城破，主將樊子蓋戰至力竭，被亂刀分屍而死。楊玄感將樊子蓋斬首，傳首尉氏，守軍大恐，一日之間竟然大半逃亡，使得本意堅守尉氏的刑部尚書衛玄無奈，隻得率餘部逃往關中。至此，整個河南道除了張須陀等在東部苦苦支撐，餘者盡入楊玄感之手。