等到初秋，李淵親自督兵西行，留下四兒子李元吉鎮守晉陽，又傳檄文宣示四方，無非是說發兵入關，擁立代王。那時，代王楊侑卻派遣郎將宋老生駐軍在霍邑，大將軍屈突通駐軍在河東，兩路攔截李淵入關。李淵途中遇到大雨，不能急速行軍。這時接到李密的書信，他自恃兵力強盛，想要李淵推舉他為盟主。李淵暫且和他周旋，回信給李密，請他率兵攻打河洛，牽製隋朝的軍隊。過了好幾天才放晴，李淵命李建成、李元吉率領前鋒隊進攻霍邑，在陣前斬殺宋老生，乘勝攻下臨汾、絳郡，招降韓城。此時劉文靜出使突厥，也帶領五百名突厥兵、兩千匹馬前來相會。關中的叛軍孫華也望風投順，願為向導，便帶領李淵渡過黃河。李淵又在河東留下一支偏師，圍攻屈突通；命令李建成和劉文靜屯兵在永豐倉，守住潼關，控製河東；派李世民和劉弘基等人攻打渭北；自己則寓居在長春宮裏調度。這時來了一隊娘子軍，為首的女英雄正是李淵的女兒，也就是柴紹的妻子。她本來熟諳兵法，因此他和堂叔李神通招募壯丁，響應父兄，此時夫妻相聚，骨肉重逢，自有一番歡愉氣象。李世民進兵涇陽，收降關中的各路人馬，有九萬多人。柴紹夫婦也整頓好隊伍，跟隨李世民一同前進。代王楊侑急命將軍陰世師、郡丞骨儀保守關中，登城備戰。李世民從涇陽出發，一路上秋毫無犯，經過延安、上郡、雕陰等地，當地縣丞無不叩馬迎降。李世民便向長春宮報捷，請求李淵督兵前來，合兵攻打長安，李淵這才啟程西行。李世民已率先抵達長安城下，等到李淵率兵來會師，集合兵力二十餘萬。李淵先派使者傳話給城中的守吏，說願擁立代王。守將陰世師不肯服從，並叱回了來使。於是李淵下令攻城，並諭令將士們入城後，不得觸犯隋室宗廟以及代王宗室。將士們奉令猛攻，前仆後繼，連日攻打都不曾退卻。軍頭雷永吉首先登城，餘眾隨後跟上，殺散城頭的守卒，打開城門迎入在外攻城的軍隊。陰世師和骨儀戰敗被擒。那時，代王楊侑隻有十三歲，沒有什麼能力，隻能躲匿在東宮哭泣。李淵率軍搜尋，找到代王後立即將他帶出東宮，遷居到大興殿的後廳。李淵自己則住在長樂宮，與民約法十二條，廢除所有苛刻條例，斬殺陰世師、骨儀等十幾人，其餘人不再追究。第二天，李淵擁立代王楊侑為皇帝，尊煬帝為太上皇，改年號為義寧。李淵自封為大丞相，掌管內外軍事，晉封為唐王。李淵立李建成為世子，封李世民為秦公，李元吉為齊公。
隨後，李淵接到劉文靜的軍報，說已經擒住屈突通，正押往長安。那屈突通是怎麼被劉文靜抓獲的呢？原來河東各地的隋軍聽說長安失守，家眷被虜，都無人戀戰。屈突通留下部將桑顯和鎮守潼關，自己率眾趕往洛陽。桑顯和舉關投降了劉文靜，並和劉文靜的偏將竇琮合兵追擊屈突通。兩軍相見，桑顯和大聲呼喊道：“現在京城已經淪陷，你們都是關中人，這是要往哪裏走呢？”屈突通的部眾聽了這話，立即放下兵械投降，並且抓住屈突通，送到劉文靜的營中。於是劉文靜將屈突通押送到長安。李淵見到屈突通，急忙令人鬆綁，好言勸慰。屈突通無法反抗，隻得唯命是從。李淵任命屈突通為兵部尚書，兼封蔣公，派他到河東城下招降通守堯君素。沒想到堯君素卻是個硬頭子，隻知道為隋朝效死，不肯屈節，還正言指責屈突通，說得屈突通滿麵羞愧，隻能回來稟報李淵。李淵暫時將河東擱置，專心探聽東都的消息。
自從李密進逼東都後，越王楊侗一再遣使向江都告急，虞世基還說越王年紀小，遇事容易慌張，煬帝也這麼認為。等到警報頻頻傳來，才命將軍龐玉等人去援助東都。越王楊侗也派段達出兵，與龐玉一同夾攻李密。李密的部將柴孝和勸說李密火速攻打長安，但李密不肯聽，隻是在東都城下和隋軍搏戰。偏偏被龐玉和段達兩路軍隊襲擊，大敗而逃。李密身中流箭，逃回洛口。隨後又重新部署散兵，再次攻打東都，殺敗隋軍，又派徐世勣去襲取黎陽倉。這時，泰山道士徐洪客向李密上書道：“我們應該沿河東下，直奔江都，抓取昏君，號令天下。”李密也認為是妙計，寫信邀請徐洪客前來，可是他卻不知去向了。這時王世充奉煬帝的命令，帶領江淮的精兵銳將來攻打李密。李密不能東行，隻好和王世充對壘交戰。再加上軍中有變，李密正設法除患，結果讓徐洪客的一條好計，成了一句虛言。
先前翟讓推舉李密為主帥，的確是真心地擁戴他，可偏偏翟讓的兄長翟弘心中不服，曾對翟讓說道：“你不想當天子，盡管讓我做，何必給外人呢。”翟讓的部下司馬王儒信也勸說翟讓自立門戶，翟讓沒有答應。偏偏這事被李密得知，不免有些懷疑。有人勸說李密除掉翟讓，於是李密將翟讓誘來赴宴，把他殺死，並捕殺了翟弘、王儒信。部眾見李密殘忍殺害朋友，多半為翟讓抱不平，經李密再三安撫，才稍稍安定。王世充已經料到李密、翟讓二人互不相容，準備乘機發動進攻。等他得知翟讓已死，頓時感覺失望，又因為和李密多次交鋒，敗多勝少，他便徘徊在洛水一帶，沒有援救東都。這消息傳入長安，李淵特地命李建成為撫寧大將軍，李世民為副將，渡河南下，聲稱是援救東都，實際是牽製李密，與他逐鹿中原。
忽然從江都傳來急報，說煬帝被殺，宇文化及另立秦王楊浩為帝，李淵不禁痛哭道：“我在北麵征戰，不能救主，怎能不悲傷呢？”那麼，煬帝是怎麼死的呢？原來自從煬帝來到江都後，做的荒淫之事更甚從前。他在行宮中設置一百多間房舍，每房中安放著一位美人，輪流作東道主。煬帝自己作為上賓，東遊西宴，天天沉迷酒色當中。當時煬帝年近半百，怎能熬得住朝朝紅顏，夜夜新郎呢？再加上他平時屢次服食春藥，隻為了一逞歡欲。先前原是百戰不疲，一夜能臨幸數女，後來便精枯力盡，諸病纏身了。又因為天下危亂，他也覺得不安，經常頭戴幅巾，身穿短衣，拄著龍杖徒步遊走在宮院中。有時在夜裏，他和後妃來到高台中，一邊飲酒，一邊觀星，對著蕭後模仿吳地方言說道：“外間大有人圖儂，儂雖失天下，但不失為長城公，卿也不失為沈後，暫時隻管眼前行樂吧！”蕭後向來柔順，隻知道隨聲附和，將就過去。又過了幾日，煬帝早晨起床坐在鏡前，又對蕭後說道：“這麼好的頭顱誰會來斬我呢？”蕭後十分驚訝，連忙勸慰他，煬帝說道：“貴賤苦樂，循環相生，有什麼可驚慌的！”不久，江都的糧食吃盡，護駕的將士大多是關中人，他們久在江南當然思鄉心切。煬帝見中原已亂，便再無心思北還，就想遷都丹陽，士卒多半不情願。不久，郎將竇賢竟不辭而別，率領部下西去。煬帝急忙派衛士去追殺竇賢，可是大家都沒了心思，全都悄悄逃走。虎賁郎將司馬德戡和裴虔通等人也秘密商議西歸，被一宮女得知，報知蕭後說有人要造反。蕭後聽後，立即命她去稟報煬帝，煬帝一聽大怒道：“你曉得什麼國事，敢到這裏來妄言？”隨即命令左右把她推出宮處死，從此無人敢言。