李淵進入長安後，立隋代王楊侑為帝，即隋恭帝，遙尊隋煬帝為太上皇。李淵挾天子以令諸侯，將楊侑這個傀儡皇帝牢牢控製在自己的手中。
公元618年夏，隋煬帝被宇文化及殺死。隋煬帝被殺，李淵便不再需要隋恭帝這個傀儡了，便於公元618年逼隋恭帝禪位，然後李淵即位稱帝，建立唐朝。
統一全國的戰爭
李淵稱帝後，許多隋將割據稱雄，農民起義軍亦稱霸一方，全國處在四分五裂狀態。具有政治野心的李淵，開始了統一全國的戰爭。首先消滅的是對關中構成威脅的薛舉、薛仁杲父子，將隴西並入唐境；隨後派人臥底擒殺涼王李軌，將河西五郡並入唐境。
這時對李淵統治的核心地區構成威脅的，就隻剩下劉武周的割據政權了。劉武周於公元619年勾結突厥，南侵並州（治晉陽），唐並州總管、齊王李元吉抵擋不住，太原危急。接著，劉武周攻陷平遙、介州，李淵派裴寂抵禦，結果大敗，幾乎全軍覆沒。劉武周乘勝進逼太原，李元吉棄太原逃歸長安。
在這緊要關頭，李世民請求率軍討伐劉武周，在龍門將劉武周擊潰，部將尉遲敬德投降。劉武周後被突厥殺死，並州歸入唐的版圖。
薛舉、李軌、劉武周被消滅後，關中形勢得以穩定。李淵便集中力量爭取中原。
李淵爭奪中原的勁敵是王世充和竇建德。王世充本是隋江都通守，隋煬帝被殺後，他在東都立楊侗為帝，不久擊敗瓦崗軍，盡收除瓦崗軍首領李密以外的大多數將帥，一時聲勢浩大。公元619年，王世充廢掉楊侗，自稱皇帝，占據洛陽，成為河南最大的割據勢力。公元620年夏，李淵派李世民率軍攻打洛陽。竇建德出於自保，引兵10萬進軍成皋（今河南滎陽縣汜水鎮）。李世民率軍阻擊，俘虜竇建德。王世充見大勢已去，於是投降，河北諸縣也相繼歸唐，李淵的勢力基本上控製了黃河流域。此外，李淵還派李靖於公元621年收服占據長江中遊地區的蕭銑，長江中下遊地區亦為唐所有。
李淵兼並了割地稱雄的地主武裝後，便把矛頭指向農民起義軍，經過將近兩年的苦戰，李世民等人擊敗竇建德舊部劉黑闥的部隊，控製了河北、山東地區。
隨後，李淵的大軍又直指江淮，於公元624年擊敗杜伏威的部將，江南、淮南從此也成為唐朝的轄區。
這時，全國的割據勢力隻剩下盤踞朔方、依附突厥的梁師都，但在李淵統治時期並未能將其臣服，直到公元628年才消滅梁師都。至此，李淵父子在兼並了地主割據勢力，又打敗了農民起義軍後，奪取了農民起義軍的勝利果實，統一了全國。
加強政權建設
李淵稱帝後，一麵進行統一戰爭，一麵注意加強政權建設，唐朝前期的政治、經濟、軍事製度，在李淵時期基本上初具規模。
李淵建唐之初，所有製度皆隨隋製，直到公元624年確定了唐代的政權組織係統。首先是在中央實行三省六部製。三省即中書省、門下省和尚書省。負責草擬有關軍國大事的命令的中書省是決策機關，長官是中書令，僚屬有中書侍郎、中書舍人等；負責審核中書省的決定，並有權駁回的門下省是審議機關，長官是侍中，僚屬有黃門侍郎、給事中等；負責執行中書、門下二省決定的尚書省是執行機關長官是尚書令（太宗時廢尚書令，另設左右仆射），僚屬有左右遠，左右司郎中等。這三省的長官實際都是宰相，共同商討國家大事，共同對皇帝負責。六部即吏、戶、禮、兵、刑、工六部。吏部主掌官吏的考核與升降；戶部主掌戶籍及賦稅；禮部主掌禮儀及科舉；兵部主掌軍事；刑部主掌刑法訴訟；工部主掌土木工程。各部長官都稱尚書，直屬於尚書省，每個部又有四司，分另執行中書、門下二省製訂的政令。此外，還設立了監察機關禦史台，長官是禦史大夫，負責糾察百官。