這一戰後，李世民意識到劉黑闥果然是一員猛將，不可輕敵。他更加嚴令部下小心防守，決不輕易出戰。兩軍相持了六十餘日，李世民估計劉黑闥軍中糧食已經用盡，就派人事先在沼水上流修築了一道堰，將上流的水擋住，並囑咐守堰的官員說：“等下流戰鬥打響，你就將這道堰決開放水。”
三月底，劉黑闥軍中已經沒有任何餘糧，劉黑闥果真率領兩萬步騎兵，南渡洺水（古水名，在今河北南部），直逼唐軍大營。李世民親率精銳騎兵，將劉黑闥的騎兵打敗，又乘勝踐踏劉黑闥的步兵，打亂了劉黑闥的陣勢。劉黑闥率軍死守，與李世民展開殊死戰鬥，自中午到黃昏，體力逐漸不支。
劉黑闥見大勢已去，就帶領範願等兩百騎兵向突厥軍隊方向逃竄。但是，劉黑闥手下其他的將士並不知道劉黑闥已經逃走，仍然在拚死奮戰。這時，上流的堰已經決開，洺水猛漲，深達一丈多，劉黑闥大軍霎時混亂，被殺一萬餘人，淹死的又有幾千。這一仗之後，河北基本就被平定了。
收複河北之後，李世民乘勝追擊，帶兵攻打屯集在兗州的劉黑闥部下徐圓朗，連下十多座城池。徐圓朗龜縮在兗州城，堅守不出。李世民下令圍攻兗州。七月，李世民班師回朝，留下淮安王李神通等人繼續攻打徐圓朗。
劉黑闥投奔突厥之後，於六月又再次引突厥軍隊南下，騷擾山東。七月就到了定州，劉黑闥以前的部將曹湛、董康等都積極響應，回歸劉黑闥麾下。李淵於是就命令淮陽王李道玄前去征討。但是，李道玄不是劉黑闥的對手，出師不利。九月，劉黑闥攻陷瀛洲。十月，李淵又命令齊王李元吉去山東助戰。
哪知，李道玄率領三萬大軍與劉黑闥在下博（今河北深縣）展開戰鬥，並被劉黑闥一舉擊敗。李道玄也被劉黑闥所殺，李世民知道噩耗後悲痛萬分、痛哭流涕。李道玄兵敗之後，引起山東駐軍的極度恐慌，沼州總管廬江王李援竟然臨陣脫逃、棄城而去，其所轄各州縣也紛紛向劉黑闥投降。沒過多少日子，劉黑闥就將故地收複，又兵臨洺州。
齊王李元吉畏懼劉黑闥，不敢進軍。
十一月，李淵命令太子李建成率軍征討劉黑闥。魏徵向太子建議使用安撫政策，爭取民心。由於連年混戰，農田幾乎沒人耕種，全部荒蕪、雜草叢生，百姓們都希望過以前的安定日子。聽說唐軍大赦天下，安撫民心，都欣然歸往。劉黑闥因不停地征兵作戰，又給百姓強加稅賦，弄得民不聊生，所以就逐漸失去了群眾的支持。劉黑闥在民間征到的糧食越來越少，軍中的糧食極度匱乏，將士們食不果腹，所以很多人都逃走了。
一次，搖搖欲墜的劉黑闥軍隊在與唐軍的戰鬥中大敗，劉黑闥和他的數萬騎兵隻能逃亡。唐武德六年（623）正月，劉黑闥在逃亡途中被俘，隨後被殺。二月，徐圓朗也被打敗，帶著幾個騎兵逃亡，在荒野之中被盜賊所殺，征討劉黑闥的戰爭也從此結束。與劉黑闥的戰役，是曆次戰役中最為艱難的。
至此，中原大地的農民起義軍均被李氏父子所滅。李氏父子經過數年苦戰，終於拿下了這片廣袤的土地，一統天下，唐王朝統治的序幕徐徐拉開。