劉黑闥從冀、貝、滄、瀛州運糧，水陸並用，唐將程名振率兵截擊，弄沉了運輸船，燒毀了運糧車。同樣，劉黑闥也暗中偷襲李世勣軍營，李世民聞訊，立即帶兵突襲劉黑闥的背後，結果被劉黑闥包圍。尉遲敬德率壯士衝入包圍圈，李世民才得以脫險。
雙方相持六十多天。李世民知道劉黑闥糧盡必來決戰，便秘密派人堵住洛水上遊，令其監守，在決戰時放水。劉黑闥渡水南來，逼進唐營。李世民統領精騎，破其前陣，又搗入後隊。劉黑闥督兵死戰，從中午到天黑，鬥了數十回合，漸漸支持不住，劉黑闥帶著一部分將領悄悄逃走，其餘的還在格鬥，不防上遊放水，河水漫過兩岸，劉黑闥的兵被衝去幾千人，留下的一半被唐兵殺盡。
劉黑闥過了洺水，手下隻有兩百騎，隻好逃往突厥。李世民趕走劉黑闥，再一次平定山東。
六月一日，劉黑闥在突厥的支持下，侵犯山東（今太行山以東）。
六月十七日，劉黑闥侵犯定州。他的舊部屬曹湛、董康買重新召集兵馬響應。
九月，劉黑闥再次攻陷瀛州，殺死刺史馬匡武。鹽州人馬君德反叛，以鹽州城歸附劉黑闥。河北一帶的局勢再度動蕩。
十月四日，在秦王李世民已於七月奉詔回長安的情況下，唐高祖任命齊王李元吉為領軍大將軍、並州大總管，率軍進擊劉黑闥軍。
五日，貝州（今河北武城）刺史許善護與劉黑闥的弟弟劉十善戰於鄃縣，許善護全軍覆沒。六日，唐右武侯將軍桑顯和於宴城（今河北束鹿東北舊城），將黑闥軍擊敗，而此時唐觀州刺史劉會卻舉城降於劉黑闥的部隊。
十七日，唐淮陽王李道玄率軍3萬，與黑闥軍戰於下博（今河北深縣東南）。由於副將史萬寶與李道玄不和，史萬寶率主力在後，按兵不動，結果，李道玄敗亡。黑闥軍消滅李道玄後，又擊敗了史萬寶。
李道玄死時才１９歲，李世民深為痛惜地說：“道玄常跟隨我征伐，見我深入敵陣，心中羨慕想要模仿，才會這樣。”李道玄的敗死，使山東唐軍極為震駭，唐洺州總管廬江王李瑗棄城西逃，其餘州縣皆叛離唐軍，歸附劉黑闥。十日之內，劉黑闥完全收複了舊地。
二十七日，劉黑闥進入洺州。十一月三日，唐滄州刺史程大羅為劉黑闥所迫，棄城逃走。齊王李元吉畏懼劉黑闥兵強，不敢進兵。
十一月七日，唐王朝經過一番微妙的策劃，詔命太子李建成率軍進攻劉黑闥，唐陝東道大行台及山東道行軍元帥，河南、河北各州均受李建成調度，並可自行決定征戰大事，先行後奏。
劉黑闥率軍南下，自相州以北的州皆歸附劉黑闥，隻有魏州總管田留安堅守不降。劉黑闥攻打魏州（今河北冀縣）不下，便突然改變攻擊目標，向南攻下元城（今山東莘縣西南）。劉黑闥回軍再攻魏州，仍無效果。
這時，太子李建成、齊王李元吉的大軍已經到達昌樂（今河北南樂西北），劉黑闥率軍迎擊，但兩次列陣，都沒有打就停下了。魏征對太子說：“以前打劉黑闥，他的將帥都預先寫上名字處以死罪，妻兒被俘虜。因此，齊王前來，雖有詔書赦免劉黑闥黨羽的罪過，但他們都不相信。如今應當全部放掉那些被囚禁和俘虜的人，加以安慰曉諭並放走，這樣，就可以眼看著劉黑闥的勢力分崩離析了！”太子李建成聽從了這個意見。
不久，劉黑闥糧食用盡，士卒多逃跑，有的甚至捆著首領投降唐軍。劉黑闥怕城中唐軍殺出，與李建成大軍內外夾擊，便乘夜逃遁。劉黑闥行至館陶，因永濟橋尚未修好，無法渡河。
二十五日，太子、齊王率大軍趕到館陶，劉黑闥讓王小胡背河列陣，抗擊唐軍，自己督促架橋，架成後立即過河。但這時的劉黑闥軍已無鬥誌，成潰散態勢，士兵紛紛放下武器投降。橋不堅固，唐大軍剛渡過一千餘騎，橋梁毀壞，劉黑闥和幾百騎兵得以逃脫。劉黑闥被唐軍追趕，日夜奔逃無法休息。
武德六年正月，劉黑闥和隨行一百多人，到達饒陽，他們十分饑餓、疲憊不堪。劉黑闥任命的饒州刺史諸葛德威出城迎接，並請他入城，劉黑闥不進，諸葛德威便流著眼淚反複請求，劉黑闥看他很誠心的樣子，就答應了。他們進城後在旁邊的市場上稍事休整，吃些食物。可是還沒吃完，諸葛德威就帶兵來，把劉黑闥抓了起來，送給了太子李建成。劉黑闥和弟弟劉十善在豪州被斬。臨刑前，劉黑闥歎息道：“我有幸在家種菜，卻被高雅賢這些人害得落到如此下場。”
武德七年（公元624年）春，曆時7年的統一戰爭結束了，中華大地再一次成為統一的大帝國。