就在遼東城打得如火如荼的時候，忽然傳來一個令人震驚的消息楊玄感在黎陽起兵了！
楊玄感他不是這會兒想反，其實他早就想反了！大業五年與吐穀渾為戰時，他就想暗襲楊廣，結果被他叔父楊慎勸阻了。因為“士心尚一，國未有釁，不可圖也。”而且他手裏還缺一樣最重要的權力----兵權。
幸好楊廣喜歡到處征伐，楊玄感為了立威名，悄悄求兵部尚書段文振讓他做了一名將領，使他的手裏有了兵權。
經過幾年的經營，楊玄感的威望大增。當楊廣命他黎陽督運的時候，楊玄感知道他的機會來了！
按理說楊玄感位極人臣，不該有反心，為什麼卻三番五次的想要起兵反叛！其實這和楊廣的猜忌有關。因為楊玄感好文，家中門客眾多，再加上朝臣子中多為父親楊素舊部，自然對其是言聽計從，由此引來了楊廣的猜忌。再加上當初楊素在時依恃自己有功，驕橫倨傲，在朝宴上有時有失作臣子的禮節，煬帝心中懷恨但不說。楊素也覺察出來了。等楊素去世，煬帝就曾對身旁的侍臣說：“假使楊素不死，最終也得被誅滅九族。”話傳到了楊玄感的耳朵裏，使得楊玄感心裏更加的惶恐不安。感覺好像有一把刀時刻懸在自己的腦袋上，隨時都能掉下來，讓自己粉身碎骨。如此一來，楊玄感便起了反意。
楊玄感先是將自己的幾個兄弟以及自己的好友悄悄的招到黎陽，接著便借口，水路不通，遲遲不往遼東押運糧草。接著又讓人到處散布水軍將領來護兒要起兵反隋。他便以討伐來護兒為名，集結軍隊於黎陽。楊玄感以運糧的名義將趙懷義元務本等人召集在了一起。
“在坐的都是舊臣，所以我也不想瞞著諸位。今獨夫肆虐，陷身絕域，此天亡之時也。我今親帥義兵以誅無道，不知諸位意下如何？”
治書侍禦史遊元站起來，正色道：“令尊受國之恩寵，近古無比。你兄弟幾人也是地位尊崇，理當竭誠盡節上答鴻恩才是。怎麼能圖謀反噬！別忘了令尊墳上的土還沒幹呢!”
楊玄感冷冷一笑，“你這麼是什麼意思！”
“我的意思就是我寧願死，也不會聽你之令！”
“你難道就不怕我殺了你！”楊玄感的臉上顯出一股殺氣！
“你就是殺了我，我也絕不聽命於你！”
“好，來人！把他給我推出去斬了！”
從外邊進來幾個兵將把史遊元扯著胳膊架了出去。不一會兒，一顆血淋淋的人頭被盛了上來。剩下的幾個人，嚇得臉都變了，紛紛表示願意聽命。
楊玄感挑選運夫中年輕力壯者約五千餘人，丹楊、宣城兩地的篙梢約三千人，殺了三牲誓師起兵。在誓師會上，楊玄感站在高台之上說道：“主上無道，不以百姓為念，天下騷擾，死遼東者以萬計。今與君等起兵，以救兆民之弊，何如？”
台下的兵將們是齊聲大呼：“萬歲！”
就在這振奮人心的時刻，河內主薄唐禕悄悄的逃回了河內。
晚上，楊玄感將自己的謀士兼好友蒲山公李密叫到了自己的房間。
“玄邃兄，我今已起誓，下一步該如何，還望玄邃兄明示。”
李密想了一下，說道：“天子出征，遠在遼外，就是距幽州也還有千裏之遙，南有大海，北有胡人，中間夾著一條道，極其險惡的。你若率兵出其不意，長驅入薊，據守臨渝關的險要，扼住這條路的咽喉，將征遼的隋軍歸路切斷，高句麗知道後，必然追蹤於隋軍之後。不出一個月，隋軍的軍資糧秣都將消耗殆盡，隋軍不是投降就是潰散，到時就可以活捉楊廣不戰而勝。此乃上計。”
“還有嗎”
“關中之地四麵為屏天府之國，雖然有衛文升，但他不足為慮，如今您若率部西進，直取西京，招西京豪傑之士，撫西京之士民，憑借險據守西京，天子雖然從高麗返回，但已失掉根本之地，我們就可以慢慢進取了。此乃中策。”
“除此之外，還有嗎？”
“挑選精銳士卒，晝夜兼程，襲取東都，借以號令四方。但是恐怕唐禕已經告知了東都守備，使東都已經有所準備。要是率兵進攻東都，百日內攻城不下，若援軍一到……恐怕其結果不是你我能預料的。此乃下策。”李密說完歎了一口氣。
不想楊玄感卻笑道：“玄邃兄的下策，乃是我的上策。如今文武百官的家屬具在東都，要是先攻取東都，就足以擾亂百官們的心。而且，如果經過城池卻不攻取，怎能顯示我軍的威風呢？！”
於是楊玄感率兵前往東都洛陽，並派自己的弟弟楊玄挺領兵一千為先鋒，取河內。