李淵最為擔心的是宋老生閉門堅守，義軍又不能攻占霍邑，以至於戰鬥曠日持久，把軍隊拖得筋疲力盡，無法繼續南下而貽誤了戰機。所謂“初生牛犢不怕虎”，建成、世民認為宋老生有勇無謀，不足為懼，可用輕騎挑戰，誘敵出戰；如果宋老生固守不出，就采用反間計，散布宋老生畏懼不敢出戰、想要投降“義軍”的消息，這樣一來宋老生不戰都不行了。李淵說：“你們的分析很有道理，宋老生沒有趁我軍缺糧時進攻賈胡堡，我就知道他無所作為，一介武夫而已。”李淵命令軍士先埋鍋造飯，吃完飯後再進攻。李世民說：“既然敵軍已經出城了，就應該以最快的速度搶殺過去，消滅了敵軍再吃飯吧！”
於是，李淵親自率領數百名騎兵到霍邑城東五六裏處布陣以待，同時命令建成、世民各帶數十騎一直趕到霍邑城下假裝視察地形，準備攻城。還大搖大擺地在城下走來走去，故意輕視宋老生，並且讓軍士辱罵宋老生，什麼難聽就罵什麼，把一些不知是哪朝哪代的事情，都安到了宋老生頭上。不但罵宋老生，連宋家的十八代祖宗都給罵進去了。宋老生再也不能抑製自己的憤怒了，立即命人給他備馬，帶好兵器，飛身上馬，命令主力從南門、東門兩路出城迎戰。李淵怕宋老生背城布陣，使自己的騎兵戰術不能發揮，於是命令軍隊假裝向後撤退，誘使宋老生來追。
宋老生看到敵軍還未交戰，已經膽怯後退了，於是揮軍來追。李淵命殷開山等率領的步兵正麵迎敵，命建成、世民從左右兩麵直衝城下，堵死宋老生的退路，然後兩麵夾擊。義軍像一隻展翅欲搏的雄鷹，把宋老生置於爪下。李淵率軍迎頭攔殺從東門出來的隋兵，隋兵也不示弱，一擁而上，將李淵逼退數步，多虧李淵女婿柴紹從陣中躍出，頂住了宋老生的進攻。
宋老生的軍隊又從南門出來，向城東進發，準備夾擊李淵。李世民正在南麵觀戰，趕快和軍頭段誌玄率軍飛馳而下，衝擊宋老生後軍。宋老生把後軍作前軍，讓前軍作後隊，回馬與義軍進行交鋒，李世民手握雙刀，左砍右劈，連殺數十人，濺得渾身是血，雙刀劈得到處是缺口。隨後李世民把袖子割掉，換了兩把刀再次殺了進去，段正玄等人緊隨其後，奮力拚殺，以一當十，殺得隋軍望風披靡，人仰馬翻。
但隋軍人多勢眾，殺了一層又圍上來一層，情急之下，李世民心生一計，命令軍士大呼：“宋老生已被活捉，隋軍趕快投降，投降的一律免死。”
城東的隋軍正和李淵鬥得難分難解，相持不下，突然聽到主將已被活捉，無心戀戰，趕忙往城裏退去，那些隋兵進城後，竟然將城門關住，拉起吊橋。這時，隻剩城南的宋老生率領一支孤軍在奮戰，李淵從城東趕過來與李世民形成合圍之勢，殺得宋老生進退不得。宋老生看到義軍越來越多，不禁心驚膽寒，打馬想從南門進城，可是偏偏被李世民纏住無法脫身。李淵又從背後殺了過來，隋軍腹背受敵，潰不成軍。
兩下夾攻，宋老生走投無路，下馬跳進壕溝想自殺，正遇劉弘基飛馬趕到，將宋老生砍為兩段。宋老生部下統統被殺死，倒下的屍體有數裏長，流出的血彙成了小溪。李淵命令軍士吃點東西，立即攻城。
夜幕來臨的時候，總攻開始了。城上箭如飛蝗，但士兵奮勇登城，霍邑主將被殺，城中士兵已經喪失了鬥誌，李淵很快就攻破了霍邑城。李淵下令隻要投降，就可以免去一死。城中兵吏都跪下請降，李淵非常高興，命令士兵不準擾民，違者軍法處置，並出榜安民。士兵隨後把以前的官吏都帶到李淵的麵前，李淵告訴他們去留自便。
這是起兵以來第二次大戰，李淵采用了李世民的策略，取得了決定性的勝利，為進軍關中鋪平了道路。這充分顯示出了李世民高人一籌的眼光，能夠正確地分析形勢，不走彎路。同時也可以看出李世民的決心，為了成就大業，一往無前，決不後退。從這次戰鬥來看，李淵已經非常信任李世民了，同時對他的能力也毫不懷疑，基本上把軍隊的指揮權都交給了他。