半月之後，大雨果然停止，太陽出來了，李淵命令全軍將士抓緊曬甲整械，準備攻打霍邑。
次日，李淵命令部隊出發，先向霍邑東南，沿山間小路前進，約在距城十裏處駐營。
為了迷惑宋老生，李淵自帶左右輕騎五六百人馬，有意在霍邑城下東張西望，又在城東六七裏之處停下，等待步兵前來，顯得軍隊散亂又沒有頭緒。
這樣做，是故意給宋老生看的，讓宋老生覺得李淵不會用兵，更不懂攻城的方法，使他產生麻痹輕敵的思想。
接著，李淵又派殷開山帶領七八十人馬，再到城下四處巡視，東張西望一會兒，然後才回到營裏。
半個時辰以後，李淵把人馬分成十幾隊，從城東南向城西南迂回，有意向宋老生顯示一個印象：李淵又想安營，又想攻城，表現出舉棋不定的樣子。
李淵故意表演這些啞謎似的軍事行動，是讓宋老生滋生僥幸情緒，從而輕敵大意，放心大膽地出城應戰。
果然，又過了半個時辰，當李淵再次帶領數百人馬出現在城下的時候，宋老生擔心李淵再從城下溜掉，便命令士兵大開霍邑東、南兩門，率領三萬人馬，衝出城來，一起大喊道：“別放走了李淵！活捉李淵！”
李淵見宋老生來勢凶猛，恨不能將他一舉擒獲，心中不由一緊，便急急忙忙帶領身後的數百騎向後退去，像是不堪一擊就逃跑了。
宋老生果然中計，他一見李淵領著兵馬往後退去，忙把手中大刀一揮，向全軍命令道：“殺呀！別放跑了李淵，衝呀——”
宋老生帶領人馬向前猛衝，逼得李淵的數百輕騎連續後退，就在這時，殷開山率領步軍一萬人，從後麵頂上來，迎著宋老生的人馬，嚴陣以待，那閃閃發亮的刀光在陽光下熠熠生輝，隋軍見了，不由得愣在那裏，兀然不動。
宋老生畢竟是屢經戰陣的將領，見到兵馬如此表現，急忙舉起大刀，拍馬上前，一麵大喊著：“衝呀！殺呀！活捉李淵有重賞呀！”一麵身先士卒，帶頭衝入殷開山的步軍之中，砍殺起來。
兩軍拚殺在一起，呐喊聲震天動地。
此時，李建成迅速率領左軍七千人馬，突然穿過一條斜路，直撲霍邑的東門下；李世民也帶領右軍七千人馬，迅速插入霍邑的南門下。
這左右兩支人馬突然從隋軍的背後殺出，宋老生不由一驚，立刻意識到自己的軍隊已被前後夾擊，處於被包圍的困境，心中早亂了，此時，李淵讓人大聲喊道：“宋老生被活捉了！宋老生被活捉了！”
隋軍一聽，心慌意亂，有的將兵器一丟，向無人處逃去；有的兵士索性不打了，跪在地上投降了。
宋老生聽到時，先是一愣，以為是自己的耳朵有毛病，正當他發愣之時，又聽到“宋老生被活捉了”的喊聲，這才知道有問題，定是李淵有意所為，是想惑亂我的軍心，他忙向將士們高聲叫道：“別信李淵胡說八道，我宋老生在這裏，沒有被他們捉住……”
宋老生正在叫喊之時，忽見隋軍紛紛逃跑，有的甚至投降了，他一時又惱又恨，大罵道：“不準逃跑！誰投降，我就殺了他！”
說著，宋老生真的殺了幾個丟下兵器想逃跑的隋兵。但是，隋軍的軍心已亂，再也沒有辦法了！
宋老生一見大勢已去，甩掉上身的衣服，光著上身，手中揮舞著大刀，像瘋子一樣，連續砍死了幾個李淵的士兵，終於衝出了重圍，逃到了城壕前麵，後麵的追兵又叫喊著趕來，宋老生不得不縱馬跳過護城壕，跳躍著來到城下，心想：一旦我進了城，你李淵就奈何不了我！
城上的隋兵認出了宋老生，趕忙從城上放下繩子，宋老生喜出望外，慌忙下馬跑到繩子前，一把抓住繩子，上攀了一丈多高時，唐軍中一個軍曹頭目名叫盧君諤的迅速趕來，跳起來用刀亂砍，竟將宋老生攔腰斬成兩截。
城內的隋軍一看主帥已亡，哪裏還有鬥誌，紛紛逃命去了。
李淵急忙命令攻城，將士奮勇上前，在沒有攻城器械的情況下，用搭人梯的辦法，向霍邑發動最後攻擊。
日落西山的時候，李淵的軍隊終於攻占了霍邑，這是李淵在起兵之後取得的最重要的一次勝利。
占領了霍邑，就等於攻破了關中的第一道堅固的防線，在戰略上自然是重大勝利，對於鼓舞李淵軍隊的士氣，也起到了關鍵的作用。李淵興奮地說：“有了這第一仗的勝利，何愁大軍進不了關中！”
李淵攻占霍邑之後，立即犒賞三軍，獎勵有功將士，全軍從將領到兵士，無不歡呼雀躍，如過節一般。
此時，負責論功行賞的司功參軍薑暮前來請示道：“那些本以奴仆身份參軍的人，他們立了功該如何獎賞？是否與一般普通自由人一樣，享有同等地位？”
李淵聽了之後，立即說道：“戰場上哪裏分貴賤？槍刀可不認識誰是奴仆、誰是主人呀！為什麼打完了仗，在論功行賞的時候，要分等級、別貴賤呢？在我們的這支軍隊裏，必須按功行賞。”
軍中將士聽說之後，人人心悅誠服，喜笑顏開，尤其是那些被壓在最下層的勞動者，如奴仆、隸役等，終於享受到平等的待遇，自然對李淵更加效忠了。
李淵這樣做，也有利於擴充軍隊，人們紛紛傳說，李淵對部下不分身份貴賤，全是一視同仁，即使是奴仆，隻要立了功，可以和主人一樣受到重賞。
於是，在進軍長安途中，沿途有大批人馬加入李淵的軍隊，軍隊人數進一步增多，力量更加強大了。
在霍邑城裏，李淵為了進一步擴大影響，對隋朝的官吏一律既往不咎，他與宋老生部下的官員們見麵時說：“除了宋老生一人之外，我不會責罰任何人。即使你們中間有人不願歸順我，我仍然會以赤誠之心對待你們。”
說完之後，他立即宣布道：“對那些隋朝的舊官吏全部重新授官，和在太原起兵時從軍者一樣，享受同等的待遇。凡關中將士要回鄉的，都授以五品散官。”
當時，在隋軍中有些人衣食無著，請求參加李淵的軍隊，他也熱情歡迎，編入自己的軍中，並宣布說：“對這些人不準有任何歧視，也不必有任何防範。”
為了消除這些隋朝的官吏、將士們的疑慮，李淵還以厚禮安葬了宋老生，並在墳前立碑紀念。
這些措施落實之後，在霍邑城內外影響甚大，前來參軍的人絡繹不絕。
此時，管理戶曹的崔善為向李淵提出意見道：“對那些前來歸降的隋朝舊官員，都授為五品官，因為太多、太易，是否有過濫之嫌？”
李淵一聽，笑道：“楊廣吝惜勳位賞賜，因而失去人心。我怎能步其後塵！”
其實，在李淵看來，官職是奪取政權的一種手段，人們都爭先恐後地來請求加入自己的軍隊，在很大程度上，是為了取得高官厚祿，把這些許諾做在前麵，有利於動員這些人去殺敵立功，有何不好呢！
因此，李淵的軍隊在太原起兵後，特別是在攻占霍邑之後，兵力得到巨大發展，這與他善於收攬人心有著極大關係。
軍隊在霍邑休整了半個月，充實了兵馬糧草，李淵又命令全軍繼續沿汾水穀地向西南迸發，一路勢如破竹，很輕鬆地拿下了臨汾（今山西臨汾）、絳郡（今山西新絳縣）。
其實，攻占了霍邑，也就等於進入了臨汾郡的大門，郡守劉信西，主動領著部下官員迎出城外，李淵同樣真誠撫慰他們，一一恢複官職，任其去留，按章辦事，又招募了許多丁壯當兵，充實軍隊。
大軍抵達絳郡時，通守陳叔達率兵拒守，李淵準備攻城時，鎧曹武士彠上前稟報：“這位陳叔達是南朝陳宣帝的兒子，隋滅陳後，楊廣讓他做了中書舍人，後來又派他來絳郡當通守，對昏君多少有些報恩的想法，卑職曾與他相識，有些交情，去說他來降吧！”
李淵笑道：“我亦知此人有才，他十幾歲時便能賦詩十韻，被人們視為奇才，他若肯降我，我亦用他。”
武士彠以說客身份，進城勸說陳叔達：“李淵寬厚得像個長者，對那些隋朝的普通的官吏，都授以五品官；而你身為通守，李淵又親口說你是奇才，要重用你，為何要螳臂擋車，自尋死路？”
武士彠的一席話，說得陳叔達無言以對，隻得說：“本不想抵抗，因念及皇上恩情，才不得不有所表示。”