竇建德失敗後，他手下的將領四處逃亡。由於唐王朝在全國對他們進行通緝，他們走投無路，又聚集起來，推劉黑闥為首腦，重新起兵。劉黑闥原是竇建德手下的一員猛將，為人剛毅果敢，作戰勇猛，深得部下擁戴。劉黑闥召集竇建德的舊部，攻州掠府，殺死唐朝官吏，聲勢大振。劉黑闥自稱漢東王，改元天造，定都洛州。
唐武德四年（621）九月，李淵派李神通統兵鎮壓劉黑闥。李神通率領五萬兵馬與劉黑闥在饒陽（今屬河北）城南展開戰鬥。唐軍大敗，損失了三分之二的人馬。十一月，劉黑闥攻陷定州，俘虜了定州總管李玄通。劉黑闥愛慕李玄通的才華，想重用他為自己的大將。但是李玄通誓死不從，自殺身亡。
十二月，劉黑闥率領數萬精兵逼近宗城（今河北威縣），趕走守城總管。隨後，又接連攻下河北的幾個郡縣。僅半年時間，劉黑闥便恢複了竇建德原來的所有地盤，實力比起竇建德有過之而無不及。河北、中原的形勢大變。李淵非常驚恐，急召秦王李世民商量對策。李世民說：“請父王給兒臣五萬大軍，兒臣一定剿滅劉黑闥，收複河北之地。”
齊王李元吉也在旁邊，表示願意隨軍作戰。李淵很高興，隨即詔令李世民、李元吉率大軍五萬，征討劉黑闥。
武德五年（622）正月，李世民率領大軍，收複了相州（今河南安陽），隨後，進軍肥鄉，並在沼水邊安營紮寨。李世民傳令幽州（包括今北京以及河北的部分地區）總管李藝率數萬大軍南下，與自己形成南北合擊之勢。
李藝奉命出兵，在鼓城與劉黑闥的軍隊展開廝殺，大獲全勝，俘虜敵軍八千餘人，沼水地區被唐軍占領。李藝乘勝南進，先後又拿下了定州、欒州、廉州、趙州，並順利與李世民會師。
二月，劉黑闥大舉入侵沼水城，把沼水城圍了個水泄不通。沼水城四邊都有護城河，水深一丈，寬二十餘步。劉黑闥見護城河無法渡過，於是就命令士兵運來大量黃土，在城東北築起兩道與城牆一樣高、寬十步的通路，迅速向城下接近。李世民三次派兵援救，都被劉黑闥擋住。劉黑闥重兵猛攻，晝夜不停。守城將士經過八天苦戰，死傷累累，糧盡力竭，沼水城終於失陷。守城大將羅士信戰死。
李世民考慮到，劉黑闥雖然攻破了沼水城，但經過八天苦戰後，將士必然疲憊不堪，正宜緊急攻打。於是，李世民從洺水城出發，前往沼水城圍攻劉黑闥。
李世民、李藝到達沼水後，分別在沼水城南北與劉黑闥對峙。劉黑闥乘勝向唐軍進攻，鋒芒極盛。於是，李世民下令堅守不出。當時，劉黑闥從冀州、貝州、滄州、瀛洲等地通過水、陸兩道往軍中輸送糧食，舟車並進。李世民派部將率一千餘精兵截擊，燒掉所有糧車，鑿沉所有糧船，將劉黑闥的糧道截斷。
劉黑闥大怒，率兵夜襲李世民手下大將李勣的兵營。李勣不及提防，倉皇後退，潰不成軍，向李世民求救。
李世民急忙率兵，攻擊劉黑闥的後路。劉黑闥果然悍勇，又回過頭來，把李世民圍在中心。李世民左右衝殺，身邊的將士紛紛倒斃。正在危急之時，降將尉遲敬德率領幾百勇士殺來，救出李世民。