李淵父子起兵的第一個戰略目標就是西入關中。關中的長安是隋王朝都城所在，地處號令天下的重要地位。因此，李淵父子在穩定了起兵根據地太原的局勢之後，立即著手部署進攻關中，占取長安。西河之戰，是關鍵性的一著。
西河首捷，往返僅隻九天。臨戰前，李淵曾對太原令溫大有說：“士馬尚少，要資經略，以卿參謀軍事，其善建功名也！事之成敗，當以此行卜之。若克西河，帝業成矣。”在溫大有的參謀下，果然取得了首捷，李淵高興地說：“以此行兵，雖橫行天下可也。”這也就更加堅定了南下入關的決心。
八月初一，陰雨總算停了，天氣放晴。初二，李淵命令部隊晾曬鎧甲、器械、行裝。第二天早晨，李淵率軍乘著漫天大霧從東南山麓小路，神速地挺進霍邑。李淵恐怕霍邑守將宋老生拒不出戰，李建成、李世民說：“宋老生有勇無謀，我們用輕騎向他們挑戰，按理說，他不會不出戰。如果他真的從營壘出來，我們就誣陷他意誌動搖，要向我們投降。他害怕被左右的人打小報告，又怎敢不出戰呢？”李淵說：“你們估計正確，宋老生未能趁我們困在賈胡堡時發動攻擊，我就知道他是個無能之輩。”李淵和幾百名騎兵先行到霍邑城東麵幾裏的地方等待步兵，派李建成、李世民率領幾十騎兵迫近到城下，舉鞭揮旗，就像要發動圍城的樣子，同時又高聲辱罵宋老生，挑逗守兵。宋老生果然大怒，率三萬人從東門、南門分道出戰。李淵派殷開山立刻去調遣後軍，後軍抵達後，李淵打算讓軍士們先吃飯再戰鬥，李世民說：“時不可失！”李淵就和李建成在城東列陣，李世民在城南列陣，發動攻擊。李淵、李建成與宋老生交戰，稍有退卻，李世民與軍頭臨淄人段誌玄從南原率兵馳馬而下，衝擊宋老生陣地，攻擊宋老生軍的背後。李淵的兵勢又振奮起來，乘勢大聲呼喊：“已獲老生矣！”宋老生軍因此潰敗。李淵兵迅速衝向城門，城門緊急關閉，宋老生被隔在城外，他跳下馬，投入護城壕溝，劉弘基趕上去將他殺死。此時，天色已黑了，李淵立即命令登城，將士們以血肉之軀，強行登城，攻下了霍邑。
對於攻取霍邑的有功將士，李淵都給予獎賞。軍吏們懷疑以奴隸身份應募的人不能和從軍戰士同樣論賞。李淵說：“在飛石流箭之下，不分貴賤，論功行賞之時，怎麼能有等級差別呢？應該完全平等，有什麼功，就頒什麼賞。”這是很高明的一招，也是李淵部隊戰鬥力特別旺盛的原因。
八月初四，李淵接見了霍邑官員和百姓，慰勞安撫，都依照西河郡一樣辦理，挑選霍邑強壯的男丁從軍。關中戰士打算返回關中的，一律加授五品散官，放他們回去。有人規勸李淵說授官太濫，李淵認為隋氏最舍不得官爵，因而失去人心，我又怎麼能夠效仿他們呢？何況用官職來收攏人心，豈不比刀槍更好嗎？這是李淵的策略性舉措。
河北義軍首領竇建德
霍邑之役是李淵父子騎兵對隋朝步兵的重大勝利。八月初八，李淵進入臨汾郡，慰勞安撫，也按照霍邑前例辦理。八月十二日，李淵軍隊在鼓山過夜，絳郡通守陳叔達率兵拒守。八月十三日，李淵進攻，很快就攻克了絳郡。陳叔達，是南陳宣帝陳頊的兒子，很有才學。李淵以禮相待，任命他擔任官職。
八月十五日，李淵抵達龍門。劉文靜、康鞘利率突厥兵五百人、馬兩千匹來到。對這批援軍緩緩來遲，李淵大為高興，因為來到的時間正是時候，他對劉文靜說：“我向西走到黃河，突厥兵才到達，而且是兵少馬多，都是你出色執行使命的功勞！”
對於沿途攻占有貢獻的都給予封官。正在進軍河東的途中，汾陰人薛大鼎勸說：“不要進攻河東，應從龍門直接西渡黃河，奪取永豐倉，發表文告，傳遞遠近，就可以坐在這裏等待關中投降。”李淵準備聽從他的意見，然而諸將請求先行攻取河東，於是李淵任命薛大鼎為大將軍府蔡非掾。
河東縣戶曹任瑰，建議李淵說：關中的英雄豪傑對義軍蹺首以待，我在馮翊郡多年，非常了解當地民間領袖的情況，我願前去聯絡，他們一定會望風而降。義師從梁山渡黃河，南下直指韓城，進逼陽。陽守將蕭造是一位文官，望見車馬揚起的灰塵就會請求歸降；義軍首領孫華也會遠迎歸附。然後你大張旗鼓向西挺進，直接進入永豐倉，即使還沒有攻克長安，但關中卻根本上穩定了。
當時，關中的義軍以孫華的勢力最為強大，八月十八日，李淵到達汾陰，用書信前去招撫孫華。八月二十一日，李淵進軍到壺口，黃河沿岸的百姓紛紛向李淵獻船，每天都有一百多隻。因而，李淵又成立水軍。八月二十四日，孫華從陽輕騎東渡黃河，謁見李淵。李淵握著孫華的手，請他上坐，嘉獎安慰備至，任命他為左光祿大夫，封為武鄉縣公，兼任馮翊太守之職。對於孫華的部屬中有功的人，李淵授權孫華依照等級授予官職，賞賜的豐厚物品。李淵讓孫華先行渡河返回根據地，然後派遣左、右統軍王長諧、劉弘基以及左領軍長史陳演壽、金紫光祿大夫史大柰率領步騎兵六千人自梁山西渡黃河，在黃河兩岸紮營，等待大軍的到來，李淵任命任瑰為招慰大使，任瑰前去遊說韓城，韓城很快就歸降了。李淵對王長諧說：屈突通精兵不少，跟我軍相隔僅五十餘裏，卻不敢出戰，說明其軍心已動搖，不為屈突通效命了。但是屈突通害怕朝廷怪罪，又不得不出戰。他如果親自率軍西渡黃河向你們發動攻擊，那我就進攻他的根據地河東城，河東城肯定守不住。如果屈突通全軍守城，那你們就拆毀黃河的橋梁。這樣就好比前麵扼住他的咽喉，後麵攻擊他的脊背，他如果不逃走，就一定被我們擒獲。
果然，屈突通派遣虎牙郎將桑顯和率領幾千名驍果趁夜襲擊王長諧等人的營地。王長諧等人交戰不利，孫華、史大柰等部早有戒備，以遊騎從背後襲擊桑顯和，桑顯和大敗逃歸城內，並毀掉黃河橋梁。九月初八，馮翊太守蕭造向李淵投降。
九月初十，李淵統帥大軍包圍河東郡，屈突通閉城拒守。
李淵的部將等又推戴李淵兼任太尉，增設官屬，李淵接受了這個建議。當時，河東郡還沒有攻下，三輔之地的英雄豪傑投奔李淵的，每天數以千計。李淵打算率兵向西直攻西安，可是仍猶豫不決。裴寂說：“屈突通手擁有大批軍隊，憑借著堅固的城池，我們如果放棄他而去，如果不能攻下長安，一旦撤退，就會遇到來自河東方麵的追擊，腹背受敵，這是危險的策略。不如先行攻下河東，再揮師西上。長安是依恃屈突通為後援的，屈突通被打敗，長安也一定陷落。李世民卻竭力反對，他說：“軍事行動必須神速，我們乘勝安撫歸順的民眾，擂起戰鼓，向西挺進，長安的人就會望風而震驚駭懼，智慧還來不及施展謀劃，勇敢還來不及臨機決斷，取長安就猶如震動樹上的枯葉一樣容易。我們如果滯留，自己將自己耽誤在堅城之下，他們就得以有充足的時間進行準備，嚴陣等待，而我們卻坐在這裏白白浪費了時間。一旦大家的士氣沮喪潰散，那麼大勢就一去不複返了。何況關中蜂擁而起的將領還沒有歸屬，不能不早早將他們招撫來。屈突通不過是一個隻能自己將自己囚禁起來的庸人，不足為慮。”裴寂的分析有其近於事實的一麵，即河東守敵尚有一定力量，不可低估，然而畏敵不進是錯誤的。李世民看到了關中的空虛，建議長驅直入，奪取長安，是頗具謀略的，其缺點是過於輕視屈突通河東守軍的力量。李淵綜合了兩方麵的意見，取長避短，於是決定把諸將留下來圍攻河東，而自己率軍西進。
九月十二日，李淵統帥各軍西渡黃河，九月十六日，抵達朝邑，住在長春宮。九月十八日，李淵派遣李建成、司馬劉文靜率領王長諧等諸軍幾萬人，屯駐在永豐倉，據守潼關，防備東都之兵，慰撫使竇軌等人接受李建成的指揮。李世民率領劉弘基等諸軍幾萬人進攻渭北，慰撫使殷開山等人聽從李世民的指揮。
屈突通得知李淵西行入關的消息，就任命鷹揚郎將堯君素代理河東通守，派他守衛蒲阪。屈突通親自帶兵幾萬人趕赴長安，但被劉文靜所阻擋，不能前進。將軍劉綱守衛潼關，在都尉南城屯軍。屈突通準備前往潼關向劉綱投靠，王長諧先行率兵襲擊並斬殺了劉綱，占據都尉南城，拒抗屈突通，屈突通隻好退到都尉北城。李淵派部將呂紹宗等人攻打河東，未能攻克。
江淮義軍首領杜伏威
刑部尚書兼京兆內史衛文升已年老，他得知李淵軍隊向長安進軍的消息，憂懼成疾，不再參預政事。隻有左翊衛將軍陰世師、京兆郡丞骨儀在代王楊侑名義領導下，據城堅守。
九月二十四日，李淵進駐馮翊。李世民所到之處，官吏、百姓及義軍歸附如流，李世民在他們中間選出有才幹的人物，作為自己的僚屬。他在涇陽駐軍，能夠作戰的武裝部隊有幾萬。柴紹之妻李氏率精銳戰士一萬餘人，在渭北與李世民會師，跟她丈夫柴紹各自設置幕府。
這時房玄齡到軍營大門晉見李世民，李世民跟他一見如故，命他當記室參軍，作為自己的高參。房玄齡也認為遇到了知己，竭盡心力，凡是認為對的事情，一定毫無保留去做。
李淵派劉弘基、殷開山，分別率軍向西方扶風攻取土地，擁有將士六萬人，南渡渭水，屯駐在長安故城。長安城中的隋軍出戰，劉弘基迎戰，擊敗了隋軍。李世民率兵前往司竹，李仲文、何潘仁、向善誌，都率眾跟隨李世民，在阿城屯駐下，李世民有武裝戰士十三萬，軍令嚴整，對民間秋毫無犯。九月二十八日，李世民從派使者稟報李淵，請求約定包圍長安的日期。李淵說：屈突通已向東進軍，不能再回頭向西行了，對於他，已不足為慮了。”於是命李建成挑選在永豐倉的守軍勇士，從新豐直抵長樂宮；李世民率領新歸附的各軍向北進軍，屯駐在長安故城，準時到達指定的地點，聽從調遣。延安、上郡、雕陰等地都請求歸降李淵。九月二十九日，李淵率軍西行，沿途所經過的隋煬帝的離宮、園林、庭苑，全部關閉，放出所有的宮女，歸還她們的親屬。十月初四，李淵抵達長安，在春明門西北紮營，集結各路義軍，共約二十餘萬人。李淵命令各將士駐紮在營壘內，不準進入村落蹂躪百姓。李淵派使者到城下，向衛文升等人表明自己尊奉隋皇室的態度，衛文升等人不作答複。十月十四日，李淵命令諸軍進發圍城。十月十七日，李淵將營地遷到安興坊。