占據長安，建立唐朝在李淵強大的政治攻勢和軍事打擊下，防守長安城的隋軍很快土崩瓦解。李淵大軍占領京師以後，“封府庫，收圖籍，禁擄掠”，為穩定局勢，立即出城駐紮，完全仿效當年漢高祖劉邦入關“約法三章”、占據鹹陽以後還軍灞上的做法。李淵也嚴明軍紀，“與民約法十二條，悉除隋苛禁”，在政治上完全占據了主動。
李淵按照既定的政治思路，首先立代王侑為新君，曆史上稱為隋恭帝，改大業十三年為義寧元年，遙尊隋煬帝為太上皇。這實際上是李淵從政治上確立了代王為正統，取消了早已失去民心的隋煬帝的正統地位，為自己後來的改朝換代提供了便利。特別是次年三月宇文化及發動江都兵變殺死隋煬帝以後，此舉的政治意義就越發凸現出來。隋朝末年，不僅有很多的割據者稱帝稱王，隋朝宗室也有宇文化及在江都（今揚州）擁立秦王浩為帝，東都洛陽王世充所立的越王侗（皇泰）等。群雄逐鹿，李淵在長安立代王，當然也就是另樹一幟了。
唐長安城下水道鐵閘門義寧元年（617）十一月十五日，李淵迎13歲的代王侑即皇帝位於大興殿。李淵被授為都督內外諸軍事、大丞相，進封唐王，總理軍國機務。以大丞相讚輔國政，其實是漢魏以來權臣奪取軍政大權的一貫做法。遠的像曹操篡漢、西晉司馬氏代魏的故事不說，近世隋文帝楊堅的代周，也和此時李淵的身份沒有兩樣。這樣做，盡管也是掩耳盜鈴的做法，但是用他自己的話說：“雖失意於後主（楊廣），幸未負於先帝（楊堅）。”就是說，雖然背叛了隋煬帝，他也不想落個臣子謀篡的惡名。既不失忠義，還能夠實現改朝換代，當然顯示出李淵的政治才幹。
義寧二年（618）三月，代王侑以李淵“功德日隆，天曆有歸，欲行禪讓之禮”，朝廷大臣也勸他順水推舟。但是，由於當時李淵感覺時機還不成熟，沒有答應。後來，裴寂等率群臣二千人又三番五次勸進，李淵仍然態度堅決。一直到了五月，他才假裝勉為其難，同意正式即位。
唐長安城青龍寺遺址出土的石燈台殘段義寧二年（618）五月二十日甲子，李淵在太極殿正式登基，因為其封爵為唐王，故改國號為“唐”，仍然定都長安。隋義寧二年為唐武德元年，代王將皇帝的寶璽交付李淵，自己遜居舊邸。
從此，中國曆史進入到大唐帝國。李淵作為唐帝國的開國之君，曆史上稱之為唐高祖。
蕩平群雄，統一全國李淵建國以後，麵對的是群雄逐鹿的混亂形勢。隋末各地掀起的農民起義軍基本上形成了翟讓、李密領導的瓦崗軍，河北竇建德、劉黑闥和江淮地區杜伏威、輔公祏等幾個中心，其他各地的割據者大多是隋朝的官吏或者是地方豪霸，有的依附突厥，有的獨占一方。這樣一來，實現全國統一就成為李淵建國以後的頭等重要任務。
為了鞏固和穩定關中，李淵首先迫使河東（今山西永濟）的隋朝大將屈突通投降，既而又用兵平定了在金城（今甘肅蘭州）的薛舉、薛仁果（一作杲）父子，時在武德元年（618）十一月。很快，第二年四月，在河西涼州（今甘肅武威）稱帝的李軌也被俘虜。鞏固了關中根據地，李淵以皇帝的身份傳諭郡縣，發布政令，依靠政治手段招納很多地方的隋朝官員歸附。對於那些依然擁兵與之抗衡者，自然還是發兵征討。
武德二年（619）四月，劉武周及其部將宋金剛聯絡突厥兵馬，攻陷李元吉留守的太原，繼續連兵南攻。李淵命令李世民率兵反擊，大敗宋金剛，降其驍將尉遲敬德，劉武周兵敗逃到突厥被殺。這樣，不僅穩固了太原和河東地區，也解除了關中左右兩翼的威脅，唐朝中心地區更加穩固。
於是，李淵又把注意力轉到中原。也就是要消滅洛陽的王世充和河北的竇建德。洛陽王世充本來是奉隋煬帝之命鎮壓李密瓦崗軍的，李密兵敗投降唐朝，李密手下的謀士和勇將也多隨之歸附，王世充便自己在洛陽稱帝，國號鄭。唐朝軍隊與洛陽王世充和河北竇建德的交戰最是驚心動魄。武德三年（620）七月，李世民奉命率軍東進洛陽，唐朝時期的名將如李世積（徐懋功）、程知節（程咬金）、秦叔寶（秦瓊）、尉遲敬德（尉遲恭）等均參加了這一戰役，最終俘獲了王世充和竇建德。武德四年七月，竇建德的部下劉黑闥複又再起，次年稱漢東王，聯絡突厥進攻山東，武德六年初，也被鎮壓。