於是李淵將軍隊分為兩軍，李淵與李建成為一軍，在東麵列陣。李世民與柴紹為一軍，在南麵列陣，等待宋老生。宋老生挾怒而來，見到李淵的旗號之後就向東軍全軍突擊。李淵被宋老生的當頭一棒打得好懸，連李建成都被從馬上打落，隻能向後不斷退卻。李世民趕忙領軍從南麵殺入，將宋老生的軍隊一分為二。這一戰是李淵軍成軍後打得第一場硬仗，雖然用盡計謀，但是依然打得驚險無比。李世民身先士卒，親手殺死幾十人，兩把刀都砍缺了口，飛濺的鮮血沾滿衣袖，世民將血袍甩掉繼續戰鬥。這樣的奮戰才讓李淵終於穩住了戰線，沒有被宋老生擊破。此時戰場形勢開始朝著李淵一方傾斜，李淵又派人大喊：“已經抓住宋老生了！”宋老生軍於是大敗。宋老生本人趕忙向回逃跑，李淵在後緊追。結果城內驚恐，居然不等宋老生入城就把城門關了起來。宋老生跳入壕溝逃命，卻被劉弘基斬殺。此時天已經黑了，李淵也不等天亮便下令攻城。李淵軍中此時並沒有攻城器械，士兵們隻能靠肉體攀登城牆，以這樣的方式攻下了霍邑。打下霍邑之後李淵又開始搞有獎大派送，對良家子和奴隸這兩種身份不同的士兵一視同仁，隻論軍功不論貴賤，關中士兵想要回家的都封了五品散官，大大地籠絡了人心。
打下了霍邑之後李淵進軍的腳步仿佛一下子就順利了起來。八月八日，臨汾郡（治今山西臨汾）不戰而下；八月十三日，輕取絳郡（治今山西新絳）；八月十五日，抵達龍門（今山西河津）。此時出使突厥的劉文靜引突厥大將康鞘利率兵五百、軍馬兩千匹也同時到達。突厥援軍的到達對李淵來說是一件大喜事，突厥援兵數量多少並非最重要的，最關鍵的是這表明了突厥不可能和劉武周聯合起來威脅太原老巢，這可以說給李淵軍上下都吃了一顆定心丸，使得將士再無後顧之憂。此外，先前的戰鬥突厥人均未參加，因此也就不需要付給他們報酬，這為李淵節省了一大筆錢。因此李淵不但沒有怪罪劉文靜來得晚，反而對劉大加讚賞。
接下來李淵要對付的便是囤軍河東的屈突通。屈突通的祖先為庫莫奚種人，依附鮮卑慕容氏，後來從昌黎（今遼寧朝陽）遷居長安，到了屈突通這一代已經完全漢化了。他跟他的弟弟屈突蓋在隋朝以公正嚴明、秉公執法而出名。因此有民謠流傳：“寧食三鬥艾，不見屈突蓋；寧服三鬥蔥，不逢屈突通。”但是在隋末這個環境下，單單剛正嚴明是很難在朝堂上生存下去的。楊廣喜歡的是溜須拍馬的大臣，剛直的大臣在他這邊可不吃香。不過屈突通卻是個例外，一直受到楊廣的重用，可見他並不隻是原則性強那麼簡單。
屈突通此人打仗的特點是穩，基本上屬於那種用堂堂之陣，在正麵交戰中壓倒對方的將領。在最後擊破楊玄感的戰役中他起到了很大的作用。當然求穩不代表他不會出奇兵。老實人偶爾使壞比壞蛋每次都使壞破壞力更大。大業十年（614）他率軍擊破劉迦論的十餘萬義軍時便用了驕兵之計，然後乘夜突襲，一戰而勝。對李淵來說，此人也是一個非常難纏的對手。
此時屈突通身為左驍衛大將軍，手下率領數萬驍果。驍果戰鬥力相當強，如果說府兵是預備役民兵的話，驍果就是真正的野戰軍。因此連宇文化及這樣的蠢材率領驍果拚力一搏也能打得李密灰頭土臉，而屈突通比宇文化及可又強得太多，因此李淵對屈突通軍團非常忌憚。
李淵順著汾水南下，屈突通就把重兵布置在了河東郡城，想要打一場防禦戰。河東郡城在黃河東岸，西麵就是蒲津橋，過河向西一點便是馮翊郡城（今陝西大荔一帶），過河向南一點便是關中第一大糧倉永豐倉（今陝西潼關縣港口鎮西村附近），河東郡城南又是另外一個渡口風陵渡，可以說此處能守護住大部分的戰略要地。李淵要想進入關中，就必須渡過黃河，當時的三個渡口，除了黃河東岸的龍門和西岸韓城（今陝西韓城）間的龍門山和梁山之外，蒲津橋和風陵渡都被屈突通控製。而梁山和龍門段又有兩座大城韓城和合陽（今陝西合陽）駐兵在對岸監視著李淵軍的動向，按屈突通的計劃，李淵要想入關中唯一的辦法就是跟屈突通死拚，隻有攻下了河東才能打開通向長安的大門。可是屈突通千算萬算，獨獨沒有算到人心。李家是關中的頂級門閥，在隋煬帝失道的今天，李淵高調殺回關中自然會受到大部分人的歡迎。因此韓城、合陽、馮翊一線的河西防線幾乎形同虛設，除了屈突通之外幾乎每個官員都在首鼠兩端，就連屈突通本人內心恐怕也是掙紮不已，如果不是這樣，他也上不了淩煙閣了。
既然有了人和的優勢，李淵軍采取什麼樣的戰術就非常明確了。那就是棄屈突通於不顧，唐軍本部坐鎮汾陰（今山西萬榮西南），然後分兵從龍門梁山一線渡河，直搗永豐倉，直接對屈突通形成兩麵夾擊的態勢，讓屈突通的地理優勢蕩然無存。八月十八日李淵到了汾陰，這時李淵軍離屈突通僅有五十裏。八月二十一日李淵軍沿黃河而上至壺口山（今山西吉縣西南七十裏），沿岸漁民紛紛將船貢獻出來，李淵很快便有了過河所需的渡船。八月二十四日便招降了關中最大的農民軍領袖孫華，又以孫華為向導，左右統軍王長諧、劉弘基及左領軍長史陳演壽、金紫光祿大夫史大奈將步騎六千自梁山渡過黃河，在西岸駐紮，與李淵本部相呼應。此外向李淵獻策的河東縣戶曹任瑰又將韓城守軍說降，此時屈突通的戰略布局已經完全被打破。
屈突通如果要挽回局勢，其實隻有一個辦法，那就是集中兵力與李淵本部決戰。李淵從晉陽出發時兵馬並不多，此時又分兵，正是屈突通決戰的大好機會。隻要將李淵本軍打垮，那河對岸的敵軍自然會崩潰。但是很奇怪的是屈突通並沒有這麼幹，反而僅僅派了手下的虎牙郎將桑顯和領精兵數千連夜通過蒲津橋突襲在河西的王長諧軍。屈突通為何這樣做已經沒有人知道，可能真的如李淵所說，屈突通的內部也並非鐵板一塊，下麵的軍士並不全都聽從屈突通的調遣。不過就算是這樣夜襲也險些讓屈突通得手，要不是孫華和史大奈領本部騎兵自後解圍，李淵的河西軍恐怕就被趕到黃河裏麵去了。桑顯和大敗之後怕唐軍兩路夾擊河東，居然將蒲津橋給毀了，將整個河西地區拱手讓人。在這種形勢下，河西諸郡縣隋朝官吏和關中地方武裝簡直就是一邊倒地向李淵軍投誠，李淵軍的規模開始急速膨脹。而屈突通所在的河東郡城已經變成孤城一座，被李淵親率大軍圍攻。不過屈突通守城還是很有一手，加上河東郡城城牆高大，易守難攻，李淵急切之間並不能攻下。
就在形勢一片大好的情況下，李淵軍對於下一步的戰略又發生了分歧，這次還是以裴寂為代表的保守派和以李世民為代表的進取派之間的意見分歧。說來也有趣，這裴寂在李淵定關中時的角色仿佛就是為了襯托李世民的偉大和正確而存在的。裴寂認為屈突通手握精兵，盤踞堅城，如果舍此入關，一旦長安也久攻不克，我軍退路將被堵截。那時，腹背受敵，實為冒險之舉。因此，他主張先克河東，然後入關。長安主要靠河東援助，屈突通失敗，長安必破無疑。李世民的見解則正相反。他認為兵貴神速，應乘士氣旺盛之機，率領歸順的將士西入關中，長安的隋軍一定震駭恐懼，長安必然唾手可得。如果久攻河東，就會使長安的隋軍得到喘息之機。那時，就要坐費時日，萬一有什麼變故，宏圖大業就會化為泡影。況且關中地區接踵起事的將士，不知歸屬，應盡快招撫懷柔。屈突通隻不過是一個“自守虜”而已，不足為慮。李世民的這番話可以稱得上高瞻遠矚，此時隴右方麵的西秦霸王薛舉與李淵的目標一樣，也是直指長安。按照後來的事態發展來看，幾乎跟李淵就是前後腳。要是真的按照裴寂說的先打河東，那關中姓誰還真不好說。這次李淵倒是沒有再受裴寂的蠱惑，支持了李世民的意見。僅留下少量部隊繼續監視屈突通，大部隊迅速渡過黃河，向關中進軍。