就在李世民隨同父親駐軍山西的這一年，全國的形勢發生了巨大的變化。在農民起義軍的打擊下，貌似強大的隋軍土崩瓦解，隋煬帝困守江都，危在旦夕，隋王朝已經注定了滅亡的命運。在這種形勢下，早就有取代隋朝之心的李淵見時機成熟，也開始密謀策劃準備起兵。年輕有為、善於謀略的李世民，作為父親李淵的得力助手，參與了起兵的全部密謀和決策活動，做了大量的組織和發動工作。他一方麵協助父親招募軍隊集結力量，同時又在父親的授意下，利用各種關係和手段，結交了大批英豪人物。當時因逃避遼東戰役而亡命太原的隋軍將領孫順德、劉弘基、竇琮等人都與李世民結為心腹好友。此外，李世民還結交了足智多謀的晉陽縣令劉文靜和晉陽宮（隋煬帝在晉陽的行宮）副監裴寂等人，為起義的成功做出了重要的貢獻。
大業十三年（617）五月，在各方麵準備成熟之後，李世民協助父親李淵除掉了隋煬帝派來監視他們的親信，在晉陽宣布起兵，正式打出了反隋的旗號。
晉陽起兵以後，李世民的哥哥李建成、弟弟李元吉以及妹夫柴紹也先後率領一部分隊伍從河東、長安秘密趕至晉陽會師，使起義力量迅速擴大。在確定了西入關中奪取長安的戰略目標以後，李淵隨即留元吉鎮守晉陽，以建成和世民為領軍都督，分別統帥左右兩路大軍，誓師入關，直取長安。占領長安以後，李淵於大業十四年（618）在長安稱皇帝，改國號為唐，定年號為武德，正式建立了中國曆史上著名的唐王朝。唐朝建立後，李世民被封為秦王，他的哥哥建成以嫡長子身份被立為皇太子，弟弟元吉被立為齊王。從此以後，李世民就以秦王的身份活動於政治舞台，叱吒於隴西、關東。
唐王朝建立後，擺在李氏父子麵前的首要任務，是削平群雄，統一全國，鞏固李唐政權。但是，李淵稱帝後便不再親自掛帥出征，皇太子建成也需要留在京城協助父皇處理各項政務。因此，指揮和領導統一戰爭的重任就自然地落在了秦王李世民的身上。
當時，國內尚有薛舉、劉武周、王世充、竇建德等強大的軍閥勢力和農民軍勢力，統一的任務是非常艱巨的。麵對如此艱巨的任務，年僅22歲的李世民毅然挑起了這副重擔，統率千軍萬馬，開始了他曆時4年多的、艱苦卓絕的統一戰爭生涯。
李世民掛帥出征後，采取了先西後東的戰略方針，首先進攻盤踞在隴右地區（今甘肅六盤山以西、黃河以東地區）的軍閥薛舉。
薛舉占有隴西（今甘肅隴西）、西平（今青海樂都）、天水（今甘肅天水）諸郡，建號秦國，自稱秦帝，以天水為都城，擁兵30萬，雄踞西北，成為關中地區對唐政權威脅最大的一股勢力。武德元年（618）七月，李世民與薛舉在高庶（今陝西長武縣北）開始了第一次會戰。高庶距唐軍後方近，距秦軍後方遠，對秦軍來說，利在速戰。李世民深深地了解這一點，因此在戰略上采取了深溝高壘、閉門拒戰的辦法，以己之長製敵之短。在兩軍對壘之際，李世民突然患了瘧疾，隻得將軍務委托給隨軍長史劉文靜和司馬殷開山處理，並一再告誡他們，切不可輕易出戰，繼續采取閉門拒戰的方法，以挫秦軍的銳氣，待秦軍糧盡兵疲時，再與之決戰。但劉、殷兩人並沒有聽從李世民的告誡，加上唐軍新定關中，官兵存在著驕傲情緒，急於求戰。因此當秦軍來挑戰時，劉、殷即率軍出城應戰，結果淺水原一戰遭到大敗，唐軍死傷大半，大將慕容羅喉、李安遠、劉弘基也被秦軍俘虜，高庶城被秦軍占領，李世民隻得帶兵退回長安休整。這一仗由於輕躁致敗，使年輕的李世民受到極大的教訓。在以後的曆次戰爭中，他一直保持清醒的頭腦。他的軍事指揮藝術也在經曆了這次敗仗後，逐步走向成熟。
薛舉在取得淺水原大戰的勝利後，突然得病暴死，他的兒子薛仁杲繼立為秦帝，屯兵於折庶城（今甘肅涇川縣東北）。九月下旬，經過兩個月休整的李世民率軍進抵高庶城下，薛仁杲派大將宗羅喉領兵迎戰李世民。這次李世民吸取了上次失敗的教訓，仍然采取堅壁不出的辦法。宗羅喉一再前來挑戰，李世民頭腦冷靜，堅守不出。相持了60多天以後，秦軍糧盡，軍心動搖，士氣低落。李世民見時機成熟，立即命令大將梁實率領5000人馬在淺水原紮營，以引誘秦軍。當宗羅喉集中全力進攻梁實的時候，李世民派大將龐玉率軍2萬，在淺水原南麵向秦軍進攻，自己則親率大軍從淺水原北麵攻擊敵人。宗羅喉在唐軍的南北夾擊下，迅速潰敗，向折庶城逃跑。李世民隨即命令步軍隨後，自己親率騎兵2000追擊宗羅喉。李世民的舅舅大將竇軌見他隻率少數人馬追擊，硬拉著他的馬韁，叩頭苦勸。李世民回答說：“我已經深思熟慮，機不可失，時不再來，今破竹之勢，萬不可失，請不要再說了！”一劍斬斷韁繩，拍馬而去，迅速率軍進抵折庶城下，控製住涇水南岸，切斷了宗羅喉的歸路，使其不能與薛仁杲守城軍隊彙合，從而削弱了秦軍的守城兵力。當晚，唐軍大隊趕到，將折庶城包圍。薛仁杲自知不敵，第二天被迫率領將士1萬多人投降李世民。