大業十三年（617年），反隋部隊已經占據了大隋的半壁江山，隋煬帝所在的江都（今江蘇揚州）已經被孤立。
大業十三年（617年）農曆二月，馬邑鷹揚府校尉劉武周發動兵變，殺死馬邑太守王仁恭，據馬邑而自稱天子。農曆三月，劉武周攻破樓煩郡，進占汾陽宮，並與突厥勾結，圖謀南下爭奪天下。
消息傳到李淵耳朵裏，李淵大驚：“這真是出人意料，沒想到王大人沒死在戰場上，卻死在了一個小小的校尉手上。”
皇帝的使者突然到來，喊道：“聖旨到，李淵接旨。”
李淵：“臣接旨。”
“奉天承運，皇帝詔曰，馬邑鷹揚校尉劉武周叛變，殺死馬邑太守王仁恭，馬邑屬李淵治下，李淵責無旁貸，現命李淵即刻動身，趕往江都前來請罪，限期一個月內到達，不得有誤，欽此。”
那群使者走後，李淵回顧身邊的人。
李世民說：“爹，事情緊急，可以起事了。”其周圍的心腹裴寂、許世緒等也紛紛勸李淵起兵。
李淵：“楊廣這招請君入甕為的是除掉我們李家，我們絕對不可以坐以待斃，我決定立刻起兵，廢掉昏君楊廣，為我大隋另立明君。”
眾人：“支持唐國公，廢除昏君，另立明君。”
李淵：“為防備劉武周和突厥南下，我決定派世民和劉文靜等到各地募兵，以保衛邊境。”
李世民等人：“是。”
大業十三年（617年）農曆七月，李淵募集到足夠起事的軍隊，在太原校場上進行誓師。
李淵：“眾將士，楊廣乃無道昏君，他聽信讒言，殘害忠良，致使忠義之士無辜慘死。還有窮兵黷武，連年對外用兵，致使大隋精銳盡喪，百姓很多淪為孤兒寡母。今日我在此起兵，討伐昏君，另立明君，重振大隋。”
眾將士：“討伐昏君，重振大隋。討伐昏君，重振大隋……”
李淵：“李建成和李世民聽令。”
李建成：“末將在。”
李世民：“末將在。”
李淵：“命你們各率一支部隊南下攻破霍邑（今山西霍縣），讓我們得以完全掌控山西。”
江都城皇宮內，楊廣還在飲宴，周圍一片歌舞升平的景象。
來護兒突然急匆匆地跑到楊廣麵前，“皇上，大事不好了。”
楊廣：“出什麼事了？”
來護兒：“李淵叛變了。”
楊廣：“你說什麼？”
來護兒：“你沒有聽錯，李淵確實叛變了。他目前正派兵進攻霍邑的宋老生，企圖度過黃河。”
楊廣：“速調精兵前去鎮壓。”
來護兒：“皇上，我軍在關內的守軍力量薄弱，力有未逮。依臣愚見，我們應當速回關中，以定天下。”
楊廣：“知道了，你先退下吧，讓朕再想想。”