麵對危局，李淵曾一度準備放棄河東，守住蒲津關以西，保衛關中。李世民上表說：“太原是王業的基礎，國家的根本，河東物產豐富，人民殷實，是京城長安的資源補給地，一旦放棄，後果不堪設想，請撥給我精兵3萬，我一定要消滅劉武周，收複汾、晉。”李淵於是調撥關中所有的軍隊，增加李世民兵力，命他討伐劉武周。李世民率軍自龍門（今山西河津縣西北）渡黃河，駐紮在柏壁（今山西河津縣北），跟劉武周軍對峙。李世民傳令大軍征集糧草，休養士卒，飽喂戰馬，隻派小股兵力遊擊抄掠敵營，主力部隊則堅守營壘，拒不出戰。漸漸地，敵軍糧草不給，氣勢衰落。李世民看準機會，在敵軍糧盡後撤時揮軍追擊，在霍邑北麵的雀鼠穀一天八戰八捷，劉武周全軍潰敗。部將尉遲敬德投降。劉武周勢窮，放棄太原，逃奔東突厥，後被突厥殺死。唐軍收複了並州，不久，被劉武周侵占的地盤全部複歸於唐。劉武周占領河東，猶如懸在長安頭上的一把刀，利刃除去，唐王朝就可以無北顧之憂，可以一意東向，出關與群雄逐鹿中原、爭奪天下了。
李淵爭奪中原的主要對手是王世充。王世充原為隋江都通守，煬帝被殺後，他在東都立楊侗為帝。不久，王世充擊敗李密，還師洛陽，被隋皇泰帝楊侗策授相國，封鄭王、總理百事，掌握了東都大權。619年（唐武德二年三月），王世充廢掉楊侗，自做皇帝，年號開明，國號鄭，占據洛陽，成為河南最大的割據勢力。
620年（唐武德三年七月），李淵派李世民率軍東出潼關，直趨河南，攻打洛陽。王世充所屬河南州縣，相繼降唐。王世充憑借著洛陽城牆堅固、物資充足，督軍死守，並遣使向竇建德求援。竇建德想跟王世充合力對付唐王朝，然後再找機會消滅王世充，因而答應了王世充的請求，帶領10萬人馬，號稱30萬，水陸並進，援救東都。唐軍李世民一麵留部分部隊繼續圍攻王世充，自己則親率精兵搶占武牢關（今河南滎陽氾水鎮），阻擊竇建德。竇建德自恃兵力強大，沒有把唐軍放在眼裏，不聽從部下的建議，命令全軍出動，連綿20裏，在戰鼓聲中向虎牢關殺奔而來。唐軍則按兵不動，以逸待勞。在竇建德軍隊饑渴疲勞，隊伍散亂的時候，唐軍突然出擊，竇軍大潰，被俘5萬人，竇建德本人也受傷被俘。竇建德失敗後，李世民再回兵圍攻東都，王世充眼看大勢已去，隻好向唐軍投降。河南最大的割據勢力被消滅了。
對於農民起義軍，唐王朝也施行鎮壓與招撫相結合的策略，竇建德被俘後為李淵下令殺害。李淵又要召集他的部將到長安，準備加以迫害。621年（唐武德四年七月），竇建德部將推劉黑闥為首，在漳南（今山東德州一帶）起兵反唐，為竇建德報仇。劉黑闥勇敢善戰，各地的竇建德舊部也聞風而起，不到半年時間，就完全恢複竇建德故地。622年（唐武德五年），劉黑闥在洺州（今河北永年）自稱漢東王，屢敗唐軍。李世民率軍東征劉黑闥，劉黑闥率步騎2萬人迎戰，在決戰的關鍵時刻，唐軍掘開洺水上遊的堤壩，大水排山倒海而下，洺水暴漲，深達1丈有餘，劉黑闥大敗。兩個月後，劉黑闥又卷土重來，李淵派皇太子李建成親征，建成采納魏徵的建議，實行安撫政策，釋放俘虜，爭取民心，宣稱除劉黑闥以外，一律不加追究，以瓦解劉黑闥的部隊。623年（唐武德六年）正月，劉黑闥被俘遭殺害，河北、山東地區歸唐王朝統治。
江淮地區杜伏威領導的農民起義軍於617年（隋大業十三年）進據曆陽（今安徽和縣），後移居丹陽（今江蘇南京）。唐軍圍攻東都洛陽時，使人招降了杜伏威。李淵封杜伏威為吳王，任東南道行台尚書令、江淮以南安撫大使、上柱國。後來，杜伏威入朝長安被留。另一領導者輔公祏率領江淮義軍在丹陽反唐，自稱宋帝。李淵派大將軍李孝恭、李靖、李世勣等分路進攻，還把秦王李世民從防備突厥的北線調回，任命為江州道行軍元帥，負責部署征討輔公拓。經過多次較量，624年（唐武德七年），輔公祏率軍棄丹陽敗走，在武康（今浙江吳興）被當地地主武裝俘虜，解送到丹陽被害，江南、淮南全被平定，成了唐王朝的轄區。
在長江中遊，蕭銑於618年（唐武德元年）在巴陵稱帝，不久遷都江陵，出兵攻奪巴、蜀，有兵40萬。621年（唐武德四年），李淵派名將李靖等自夔州（今四川奉節縣）順江東下，突襲江陵，兩湖悉平。唐將李靖平定蕭銑後，傳檄嶺南，嶺南冼夫人的孫子馮盎立即上表獻地。有人勸他割據稱王，學秦末的趙佗稱南越王，他不聽。對維護唐初的統一有貢獻。