公元617年，李淵攻入長安。公元618年，李淵繼皇帝位，唐朝建立，年號武德。
李淵建都長安之後，關東仍然群雄紛爭，征伐不已，主要有三支力量：河北的竇建德、江淮的杜伏威、河南瓦崗寨的李密。此外的割據勢力還有隴西的薛舉、薛仁杲父子，馬邑的劉武周以及洛陽的王世充。如果不平定這些軍事集團，李唐的江山便很難鞏固，於是李淵便派秦王李世民統率大軍出征，而將太子李建成留在長安，幫助自己處理政務。
劉武周是河間景城（今河北交河東北）人，他不僅驍勇善戰，而且非常喜歡結交朋友，是草莽英雄。年輕的時候，他不喜讀書，隻喜歡騎射，離家去了洛陽，準備投軍。後來成了隋朝大將楊義臣手下的一員虎將。楊義臣征討高麗，他隨軍出戰，回來後，憑借軍功升為建節校尉。不久後到馬邑，任馬邑鷹楊府校尉。
大業十三年（公元617年），馬邑太守王仁恭聽說劉武周曾經跟著隋煬帝征遼，喜歡他作戰勇猛，收為帳下親兵，不離左右。時間一長，劉武周開始調戲王仁恭的侍女，侍女不加拒絕，過不多久，便米已成炊，且感情越來越好。劉武周知道天下沒有不透風的牆，這事總有一天會被王仁恭發現，害怕事發被誅九族，決定先下手為強，他勾結社會上的一些惡少，殺害了王仁恭。為了鎮壓其他人，給自己樹威，他提著王仁恭的頭在郡中示威，沒有人敢吱聲。劉武周殺隋官在前，示威在後，再做朝廷命官已不可能，自己思量無路可走，隻有起義一條路了。於是，劉武周開倉濟貧，收得徒眾一萬多人，自稱太守，並依附突厥，被突厥封為“定楊可汗”，成為北方最大的割據勢力。
劉武周起義後，原活動於易州（今河北易縣）的農民起義軍首領宋金剛，被河北義軍領袖竇建德擊敗後，率餘眾四千人歸附劉武周。
李淵建唐後，宋金剛建議劉武周“入主晉陽，南向以爭天下”，劉武周遂於武德二年三月在突厥支持下舉兵南下。劉武周首攻並州，並州總管李元吉以畋獵遊樂為事，不理軍務。四月，劉武周引突厥軍至黃蛇嶺（今山西榆次北），李元吉強令車騎將軍張達僅率100名步兵試戰，結果全軍覆沒，張達憤而投降劉武周，並引其軍攻占榆次（今屬山西）。
四月十八日，劉武周進圍太原。為了扭轉戰局，李淵決定派右仆射裴寂來前線督軍抗擊，任命裴寂為晉州道行軍總管，撥精兵三萬，會同各郡兵力討伐劉武周，命他見機行事。可惜裴寂根本不善於帶兵，對兵法更是一竅不通，他是一個政治家，但絕不是一個軍事家，所以他來並未能改變戰場的形勢。
劉武周攻入並州和太原，總管裴寂節節敗退。敵軍直逼絳州，攻下龍門，不久又攻下澮州，劉武周大軍這一連串的軍事行動，比起當時唐軍進攻長安用的時間還短。
這與李元吉在太原的治理有很大的關係。李元吉本性殘暴，父親讓他留守太原，那簡直是放虎歸山。太原遠離長安，無人能夠製約，驕奢淫逸，無惡不作，他的做法惹得人人怨恨。李元吉有奴客、婢妾數百人，李元吉經常讓他（她）們披甲執仗，互相攻戰，當做遊戲。一場攻伐下來，就會死傷很多人，李元吉本人也曾因參加這種遊戲而受傷。李元吉的乳母陳氏善意苦勸，他不但不聽，反而遷怒於乳母。一次，李元吉喝醉酒後，命人將陳氏活活打死。
李元吉還非常喜歡打獵，他曾說：“吾寧三日不食，不能一日不獵。”在狩獵時往往踐踏百姓莊稼，還縱容部下搶奪民財，弄得百姓憎恨不已。李元吉甚至荒唐到當街射人，以觀人避箭為樂。他還喜歡夜晚外出，奸人妻女，太原百姓對此極為憤恨。協助他鎮守太原的右衛將軍宇文歆多次勸諫，李元吉不聽。宇文歆無奈，隻好將這些情況反映給唐高祖，李淵一看奏章，氣得七竅生煙。
在武德二年（公元619年）二月，大臣們聯名上奏，要求罷免李元吉，李淵下令罷免李元吉並州太守之職。李元吉丟官後不甘心，又暗中令其親信以太原父老的名義向唐高祖上書，請求留在太原繼續為官。唐高祖罷免李元吉是迫於輿論的壓力，這時正好順水推舟，又恢複了李元吉的官職，仍留鎮太原。但李元吉並無任何收斂的表現，這就是太原會如此快失守的原因。
劉武周不斷進逼，虞、泰二州也已遭到攻擊。裴寂並不去組織防禦，而是派人去叫州官，把老百姓都收到城裏去，把財物燒毀，企圖堅壁清野。這種野蠻的做法，最終激怒了當地百姓。百姓連年飽受戰爭的痛苦，已經是窮困之極，現在還要將他們的財物燒毀，他們豈能容忍？百姓心懷記恨，反亂之心油然而生。夏縣呂崇茂乘勢聚眾，響應劉武周，自稱魏王，四處搶劫。裴寂接連得到警報，隻好去征討呂崇茂，但軍無士氣，一經臨戰，便紛紛潰退，裴寂也隻得飛馬逃回。麵臨四麵楚歌的裴寂手足無措，隻有上奏求援了。