公元六一七年（隋大業十三年）六月，李淵命令長子李建成、次子李世民率軍攻打西河，並命令太原令溫大有為參謀軍事。
軍隊出發前，李淵召進兩個兒子，語重心長地對他們說：“你們還年輕稚嫩，或者說還少不更事。這開國第一仗，我想用西河郡這一戰來檢驗一下你們的能力。現在將士們都在看著你們，為父希望你們兄弟倆團結一致，共同努力，爭取打一個全勝的漂亮仗回來！”建成、世民聽了父親的話之後，共同發誓：決心攻下西河，不辜負父親的期望。從這裏可以看出，當時李淵對兩個兒子的期望甚大，要求也是很嚴的，想用舉兵後的第一戰來檢驗兩個兒子，這不僅是為了培養李建成、李世民的軍事能力，而且是為他二人在軍中樹立威信，便於以後統領大軍，以圖天下。
李淵的良苦用心可謂深矣。
在大軍臨行前，李淵還是有些不大放心，又向參謀溫大有囑咐說：“我這兩個兒子都很年輕，沒有作戰經驗，而且兵馬尚少，你要注意，必須以謀略取勝，不能光靠硬打硬拚，因此才派你前去參與謀劃。這一仗的成敗，非常關鍵，它關係到我們興兵舉義的成敗啊！”
溫大有點頭稱是，他自然能領會這位未來天子的話中含義。作為跟隨李淵多年的溫大有，以作戰有勇有謀，深得信任，他自然意識到肩上擔子的分量了。
由此可知，李淵不愧是一位有遠見卓識的政治家、軍事家。他不是一個隻顧培養兒子，而不顧軍事成敗的人，他心裏十分清楚，培養兩個兒子，樹立他們的威信固然重要，但舉兵入關的第一仗更加重要。因為首戰告捷，士氣必將大振，響應的人定會雲集麾下；首戰若敗，士氣必將下跌，對以後的戰事將會產生不利的影響。
溫大有與李建成、李世民果然不負眾望，初次征戰便大獲全勝，攻克了西河郡，並斬殺了守城官員高德儒。
攻占西河郡之後，李建成、李世民、溫大有帶領軍隊返回太原，前後九天時間，五千兵馬不但未少，反而收降兩千多隋軍。
李淵見順利地攻取了西河城，高興地誇讚道：“像這般用兵打仗，就算縱橫天下也可以了！”
接著，李淵命令開倉賑濟窮苦百姓。而隋煬帝一貫是封倉拒賑的，李淵這一舉措，是反隋的重要一手，於是深得民心，前來應募從軍的日益增多，僅十多天，就新招了數萬人，聲勢更加浩大。
隋煬帝大業十三年（617）七月，李淵與劉文靜、裴寂、兒子李建成及李世民等，經過一番精心策劃，在太原正式起兵，自稱特別大將軍，建大將軍府。任命裴寂為長史，劉文靜為司馬，唐儉與溫大雅為記室，讓溫大雅與弟弟溫大有共掌機密，武士彠為鎧曹，劉政會、崔善為、張道源為戶曹，晉陽長薑暮為司功參軍，太穀長殷開山為府掾，長孫順德、劉弘基、竇琮及鷹揚郎將王長諧、薑寶誼、陽屯為左右統軍；其餘文武官員，隨才授任。
李淵又任命長子李建成為隴西公、左領軍大都督，左三統軍隸屬他指揮；任次子李世民為敦煌公、右領軍大都督，右三統軍隸屬他指揮；左右領軍各置官屬。女婿柴紹被任為右領軍府長史，劉贍領西河通守。幾天後，即這一年的七月底，李淵任命四子李元吉為太原郡守，負責太原留守府的一切有關事務。
於是，李淵親自率領大軍三萬人，誓師興兵，向關中迸發。同時，發布檄文，宣布了欲尊隋煬帝為太上皇，立代王楊侑為皇帝的主張。
檄文中說：隋煬帝執政期間胡作非為，他“飾非好佞，拒諫信讒。敵怨誠良，仇讎骨肉。巡幸無度，窮兵極武。喜怒不恒，親離眾叛。禦河導洛，肆舳艫而達江；馳道綠邊，徑長城而傍海。離宮別館之所在，車轍馬跡之所向，鹹塹山而陲穀，畢結瑤而構瓊。遼水履征，殲丁壯於億兆；伊穀轉輸，斃老幼於百萬。禽荒罄於飛走，蠶食窮於水陸，征稅盡於重斂，民力殫於勞止。十分天下，九為盜賊。荊棘旅於闕廷，豺狼充於道路。”
這篇檄文曆數了隋煬帝的滔天大罪，在全國造成離亂四起，天怒人怨，所以我李淵才不得不決定：要廢昏立明，“興甲晉陽，奉尊代邸，掃定鹹洛，集寧寓縣。放後主於江都，複先帝之鴻績”。
言下之意，我李淵要替你掠定天下，統一全國了。
從此，李淵父子開始創業，用一磚一石壘建了李唐江山近三百年的基業……
公元六一七年八月，李淵在太原起兵，率領三萬人馬西進關中，想一舉攻取隋朝的國都長安。
出兵之時，曾移檄郡縣，告諭尊立代王楊侑為帝，很快傳遍大江南北，煬帝得知此事，大為震怒，氣憤地說：“李淵也居然起兵叛我，假惺惺地打出‘廢昏立明’的旗號，這種掩耳盜鈴的把戲能騙得天下人嗎？”
這昏君到此時尚不知醒悟，仍留連江都，貪圖淫蕩生活，不願北歸，立即嚴令西京長安、東都洛陽加強防禦，抗擊李淵西進的兵馬。
此時，代王楊侑隻有十三歲，受京兆內史衛文異的輔佐。但年過七十的衛文異，早已老邁昏庸，精力不濟了。
代王接到煬帝的諭旨，急忙派遣虎牙郎將宋老生率領兩萬精銳部隊，在霍邑駐防，又派左武侯大將軍屈突通到河東駐防，讓兩人共同抵禦李淵的大軍南下西進。
李淵的兵馬很快到達西河郡，他對兩個兒子建成、世民說道：“現在是用人之時，官心、民心都要籠絡，自古得民心者得天下，煬帝不得人心，以致天下盡失了。”
於是，李建成、李世民帶領官員，四處慰勞西河的官吏百姓，賑濟窮苦的貧民，人們紛紛傳告：仁義之師來到了西河。
李淵在西河城裏，對七十歲以上的人都給以官職；對一些豪傑有才之人，招納在軍中隨才任用。
雖然行軍匆忙，李淵卻不辭辛勞，隻見他口詢耳聞，手書官秩，一日竟授官千餘人，這種收買民心的做法亦可謂奇巧縝密，千古少見。
李淵的大軍離開西河，繼續西進時，老百姓扶老攜幼恭立大路兩側，送茶送飯，再三挽留，不舍得這支救濟過他們性命的軍隊離去。
軍隊沿著蜿蜒的汾水穀地向西南挺進，很快進入在當地頗有點名氣的雀鼠穀，進駐賈胡堡（今山西汾西東北），距離霍邑隻有五十餘裏。
不料，穀中驟然狂風大作，黑雲翻滾，不一會兒，大雨傾盆而下，而且連日陰雨不斷，李淵的軍隊不能再往前走，隻好駐紮下來。
此時，李世民向父親說：“這種天氣無法行軍作戰，加上霍邑地勢險要，西背汾水，東踞霍山，是易守難攻之地，一時無法攻打，隻好等天晴了。”
李淵聽了兒子的話，又看著大雨不止的天空，輕聲說：“若是連綿陰雨，大軍坐食不進，糧餉漸少，馬草不繼，時間長了，豈不挫傷銳氣？”
世民想了一會，向父親建議道：“趁這陰雨天氣，派府佐沈叔安、王樹文等人，帶領那些老弱殘兵，速回太原去，再運一個月的軍糧來。”
李淵說：“也好，尚不知這雨要下到何時。”
沈叔安、王樹文等領命率師回太原去了。李淵靜坐軍帳，苦苦盼著天晴，這時軍校送來一份文告，他接過來一看，乃是一份檄文，便坐下仔細讀起來。
那檄文的開頭便是“魏公李密，謹以大義布告天下”，李淵一見，不由一驚，急忙向下讀去，讀到最後，方才明白，李密在檄文中曆數隋煬帝十大罪狀，在文末也和自己的那篇檄文一樣，說：“罄南山之竹，書罪無窮；決東海之波，流惡難盡。願擇有德以為天下君，仗義討賊，共安天下。”李淵又看那文尾簽署和日期，乃是永平元年五月某日——啊！李密將隋煬帝的“大業”年號改成了“永平”！李淵一麵看著那篇檄文，一麵想著李密這個人——李密，字玄邃，另字法主，他的祖先是遼東人。因為他的曾祖父、祖父、父親曾先後在北魏、西魏、北周、隋朝做官，所以從小就生活在長安。
李密多智謀，才兼文武，胸有大誌，具有遠見卓識，常以天下為己任。隋文帝開皇年間，李密襲其父爵蒲山公。