卻說遷都丹陽不久便有一位宮女告訴蕭後，外麵人人想造反，蕭後說，由你去報告吧。宮女便對皇帝說了，楊廣很生氣，認為這不是宮女該過問的事，殺了這個宮女，後來又有人對蕭後說起，蕭後說，天下局麵到了今天這個地步，沒法挽救了，不用說了，免得白讓皇上擔心！從此以後再也沒有人說起外間的情況。
唐軍繼續西進，快到霍邑時，適逢久雨不住，即將斷糧，李淵打算回師太原，二公子李世民勸諫說：“義軍為天下而起兵，應該直入鹹陽，號召、指揮天下。現在退守一城，這是賊寇而已。”李淵不采納。李世民便在軍營門前痛哭，李淵感到驚詫，叫他進來詢問，李世民回答說：“返回太原，軍眾當前就會離散，敵軍趁機在後追趕，轉眼即被滅亡，所以感到悲傷。”李淵省悟過來，說：“舉兵首事的是你，成敗也在你。”這時左軍已先行返往太原，李世民立即與隴西公李建成分頭去追回他們。半夜，李世民迷失道路進入山穀，便舍棄坐騎，步行追上左軍，與他們一道返回。李淵繼續率軍前進，黎明到達霍邑。宋老生閉城不出，李世民帶領幾名騎兵隨從自己，靠近城根，舉鞭指揮，好像將要圍城的樣子。宋老生惱怒而出，背城布陣。李淵率領李建成在他東側，李世民與柴紹在他南麵。宋老生率軍迫近東側，李建成從馬上墜落，宋老生趁機追趕，李淵帶兵撤退。李世民從南邊飛馬衝下山坡，分兵將宋老生的軍隊截成兩段，並從宋老生的陣後出擊，宋老生兵敗逃跑，趁勢將宋老生斬了。
不久，李淵兼任太尉，增設下屬僚吏。他用豬、羊做祭禮祭祀黃河，然後渡河。數日，行軍停駐長春宮，隴西公李建成、劉文靜屯兵永豐倉，駐守潼關。敦煌公李世民從渭北攻下三輔一帶，李淵的堂弟李神通，李淵的女兒、柴紹之妻也都相繼起兵，都來與李世民會合。自此義軍聲勢更加浩大。
又幾日，李淵停駐長樂宮，擁有部眾二十萬人。隋朝留守衛文升等輔助代王楊侑守衛京城大興，李淵派使者去通告他們，他們不予答複。於是李淵圍攻京城，但下令：“凡侵犯隋朝宗廟及皇室宗族者，罪及三族。”
數日後，義軍攻克京城。李淵責成主符郎宋公弼收取地圖、戶籍。製定了十二條法律：殺人、搶劫、違反軍令、反叛者處死。十六日，尊奉遠在外地的皇帝楊廣為太上皇，立代王楊侑為皇帝。施行大赦，改皇帝年號為義寧(617)。十七日，李淵進入京城，來到朝堂，向宮門叩拜。新任皇帝楊侑授予李淵以代皇帝親征的最高權位“假黃鉞”稱號、有誅殺中級以下官吏權力的“使持節”、任職大都督內外諸軍事、大丞相、錄尚書事，晉封李淵為唐王。將武德殿作為丞相府，他發布的訓示稱為“令”，在虔化門處理政事。
又數月，隋恭帝追贈唐襄公李虎為景王；唐仁公李日丙為元王；夫人竇氏為唐國妃，以李建成為唐國承襲爵位的世子，李世民為唐國內史令，改封為秦國公，李元吉為齊國公。丞相府設置長史、司錄以下的官員。
義寧二年(618)正月初一，隋恭帝下詔：唐王李淵可佩劍徑直上殿，入朝可不按臣子禮儀小步快行，朝拜皇帝不自報名號，出行增加前、後羽飾車蓋、儀仗樂隊。十一日，周洮投降。二十一日，世子李建成任左元帥，秦國公李世民任右元帥；攻克東都洛陽。
二月初四，太常卿鄭元王壽平定樊、鄧二地，使者馬元規攻克荊、襄一帶。
三月初四，齊國公李元吉任太原道行軍元帥。初十，李世民改封為趙國公。
十一日，隋朝的右屯衛將軍宇文化及在江都殺死了太上皇楊廣，立秦王楊浩為皇帝。吳興郡太守沈法興占據丹陽，自稱江南道總管。樂安人祖尚占據光州，自稱刺史。二十三日，隋恭帝提升唐王李淵為相國，統領百官、總理朝政，賜予“九錫”---九種顯示最高權勢的器物，唐國設置丞相等官職，建立祭祀祖先的四廟。