行軍總管李仲文說：“劉武周的兵馬都像突厥人的隊伍一樣，來去一陣風，讓人捉摸不定，還是對他們小心謹慎一些為妥。”
可是薑寶誼聽不進去，堅持率領大軍全力追擊，很快進入尉遲敬德、黃子英設下的伏擊圈內，被分割包圍起來，徹底消滅了。
薑寶誼、李仲文全被活捉的消息傳到長安，京城上下一片驚恐，李淵急得食不甘味，寢不安枕，隻得派遣他的親信右仆射裴寂為晉州道行軍總管，率領兩萬人馬前往山西討伐劉武周，並且命令軍中戰事由其全權處置。
九月中旬，裴寂率領大軍趕到介州城外，宋金剛對尉遲恭、黃子英等說道：“唐軍氣勢很盛，暫不與他交戰，我們以逸待勞，據城固守，伺機一舉擊敗裴寂。”
當時，山西天旱無雨，到處缺水，裴寂隻好選擇在介州城東南方向的度索原紮營駐軍，因為那裏靠近一個山澗，是為了全軍用水的方便。
宋金剛很快便得知這一情況，召集部下說道：“度索原處的山澗之水，是呂梁山裏流下來的，我們隻要斷了唐軍的水源，裴寂便會自動退兵了。”
於是，宋金剛立即派部下將山澗的上流堵死，山澗很快就幹涸了，唐軍沒有水喝，時間一長，軍心混亂起來。
裴寂隻好派人去四處找水，把軍營遷移到有水之處，不料宋金剛帶領大軍乘機襲來，唐軍在毫無防備的情況下，隻得忍住饑渴出營迎戰，哪裏抵擋得住如狼似虎的敵兵，結果被打得落花流水，幾乎全軍覆沒。
在倉促出逃中，裴寂生怕被宋金剛捉住，竟連續換乘了幾匹快馬，又脫掉官服，穿上士卒的衣服，經過一天一夜的狂奔，跑到了晉州（今山西臨汾），計點了一下人馬，已死傷了五分之四。
在這之前，宋金剛率軍圍攻介州西北麵的浩州（今山西陽縣）時，刺史劉贍親自帶領將士守城，堅持抵抗。後來李仲文又帶領戰敗後的殘餘兵馬趕到浩州城，與劉贍共同抵抗，宋金剛見久攻不下，隻得退兵。
裴寂兵敗之後，晉州以北的城鎮，除去位於西河的浩州之外，山西廣大地區全被劉武周的軍隊占領了。
此時的裴寂又驚又怕，這次來山西本是自己上書請求的，沒想到被宋金剛打得一敗塗地，怎麼回朝去見皇上？聯想到平日李淵對自己的信任，不由得落下了傷心的淚水。
最後，裴寂隻得自動上表請罪，卻又非常擔心會遭到與劉文靜同樣的命運，被當了皇帝的李淵一怒之下處死。
因為劉文靜已在同月前些時候被皇上以莫須有的罪名處死了。盡管在李淵稱帝時，曾公開下詔，認為李世民、裴寂、劉文靜三人對太原起兵有功，要恕他們三人“二死”。
但是，李淵並沒有兌現自己的諾言，不是“恕二死”，而是一次就把劉文靜殺了，真是伴君如伴虎啊！
雖然劉文靜是自己的政敵，皇上殺了他，裴寂自然幸災樂禍，但是眼前的遭遇又不能不令他這個朝中占有舉足輕重地位的人心驚肉跳，大有朝不保夕之感。
裴寂的表章送到長安，李淵讀後，並沒有像對待劉文靜那樣，立即罷他的官職，除了他的名分，並且要治他死罪，反而派人前來溫言撫慰，讓他重新鎮守河東。
這使裴寂大受感動，立即擺上香案，麵向關中長安方向，雙膝跪下，禱告道：“願皇上春秋鼎盛，萬壽無疆！”
劉武周見大軍初戰告捷，不過半年時間已占領了除浩州以外的所有並州以北的大片土地，立即向宋金剛下令：“太原已成孤城，應立即攻占，活捉李元吉！”
宋金剛接到命令，留下尉遲恭守介州，自己領著數萬大軍，氣勢洶洶地向太原殺來，李元吉得到消息，大為驚恐，深感自己不是宋金剛的對手，司馬劉威建議憑險拒守。
可是，李元吉猶如驚弓之鳥，心神不寧，覺得留在太原城裏總是不放心，便立即決定：離開太原，回長安去！
九月十六日半夜時分，李元吉真的“出兵”了，他不是去夜襲宋金剛的軍隊，而是攜妻帶妾地悄悄出城，像是大難臨頭一般，倉皇地逃離太原，沿著去長安的大道臨陣脫逃了。
說來也真巧，李元吉剛逃離太原，宋金剛的軍隊就抵達太原城下，劉德威隻得帶領城內的殘兵老弱，登上城頭準備與敵軍對抗。
但是，李元吉出逃的消息早已傳遍城內，一些富商豪紳聚在一起議論道：“哪個山上的老虎不吃人？城外要打進來，城內拚命組織人抵抗，日夜不得安穩，還不如……”
大家計議妥當之後，一起推選富豪薛深為頭，擁進太原府裏，殺了劉德威，主動獻出了太原城，歡迎宋金剛進城，太原變成劉武周的都城了。
占領太原，劉武周立即命令宋金剛、尉遲敬德軍乘勝前進，追擊唐軍，一鼓作氣打進了晉州、進逼絳州，直抵龍門，來到了黃河岸邊，與關中對峙。
到了十月份，宋金剛的大軍已經攻克了澮州，完全占據了整個絳州，氣焰更加囂張。
李淵立即下令：征發關中所有的兵力，組成一支強大的東征大軍。在這位唐天子心目中，自己建立的唐朝政權，能否鞏固，而統一天下的大業能否實現，似乎都在這一場大戰了！
恰好不久前李密部下的名將秦叔寶、程知節在徐世勳的鼓動下，主動離開了王世充，隨著徐世勳一起歸附了大唐，李淵讓他們領著自己的兵馬，一起交給了李世民。
十月二十日，李淵帶著滿朝文武大臣，駕臨華陰，到長春宮為秦王李世民送行，可以看出李淵對這場戰爭確實非常重視。
於是秦王李世民率領三萬多唐軍，沿黃河北上。
此時，正是十一月份，朔風凜冽，千裏黃河已經結冰封凍。李世民身先士卒，踏著堅厚的冰層，從龍門渡過黃河。然後又繼續東行，渡過汾水，在絳州城西南的柏壁駐紮下來，與宋金剛的大軍對峙列陣。
在這之前，裴寂退回絳州西南的蒲州，因為他怯戰畏敵，隻知消極防守，不會尋找戰機主動出擊，多次派出人員去催促百姓遷入城內居住，怎奈老百姓都有“戀土難移”的思想，不願離開故土。裴寂一生氣，便令人放火焚燒了他們的房子，百姓一怒之下，又紛紛起義造反了。
夏縣人呂崇茂首先率眾起義，占據夏縣之後，自稱“魏王”，派人與劉武周聯絡，共同對付唐朝。
裴寂聽說之後，派兵前去鎮壓，反被呂崇茂打得大敗而回，隻好又向長安上表求救。
李淵接到表章一看，生氣地說：“這個裴寂真是無能，既擋不住劉武周，也打不過呂崇茂！”
李淵隻好派從弟永安王李孝基、表弟獨孤懷恩、陝州總管於筠、內史侍郎唐儉等人帶兵前去鎮壓呂崇茂。
河東各州郡縣連遭劉武周大軍的搶劫，又遭裴寂的騷擾，已是庫無粒糧，地無根草，百姓們躲藏在城堡之中，惶惶不可終日。
李世民得知這一情況之後，立即張貼安民告示，並召集當地富豪大戶，安撫他們，希望他們支持唐軍攻打劉武周。
老百姓聽說秦王李世民親率大軍前來，無不歡欣鼓舞，興奮地相互傳告說：“這一下子好了！秦王親自帶領大軍前來，準能打敗劉武周，趕走這個突厥人的兒皇帝！”
於是，紛紛前來投軍，唐軍人數大增，一些富商大戶，也主動獻糧獻錢，軍糧的困難也解決了，軍心也穩定下來。
為了打敗劉武周，李世民召集部將開會，他首先說道：“劉武周的大軍都是來自北部邊塞的驍勇牧民，精騎善射，戰鬥力很強。宋金剛、尉遲恭等人又都是剽悍勇猛、能征善戰的勁敵。他們背後又有突厥人的支持，真是如虎添翼。半年多來，這些人屢戰屢勝，氣焰極為旺盛，現在正處在旺盛的頂峰。這就是我們對手的情況。”
說到這裏，李世民看了一眼手下的將領，又接著說：“孫子說：知彼知己，百戰不殆。剛才說的敵情是劉武周有利的一麵，劉武周的大軍也有不利的一麵，想請眾將們議論一下，來個集思廣益！”
徐世勳先說道：“劉武周的背後是突厥人，對他有利也有害，突厥人每到一地都要大肆搶劫一番，這個習慣也被劉武周的隊伍學會了，這搶劫之風最不得人心，老百姓不會真心支持他們的，老百姓的心還是向著我們的。”