在混戰之中，黃百韜親自指揮一五六師一部分人從吳莊向西北突圍，妄圖逃出包圍圈到三塔地區與李彌兵團會合。但是，未走出多遠就被我軍的炮火所擊潰。在一片夜色之中，黃百韜帶領楊廷宴等人向尤家湖方向逃去。行至一蘆葦地時，在周圍的一片槍炮聲中，剛過了50歲生日的黃百韜舉槍自殺。作為蔣介石軍隊中的死硬派，黃百韜曾想用他的死來“使那些醉生夢死的人醒悟過來”。可是，他想錯了，蔣家王朝已經是病入膏肓，腐敗透頂，無可救藥，他的自殺絕對不可能讓那些醉生夢死的國民黨要員有所醒悟，醉生夢死者仍然醉生夢死如故，隻不過後來者是或被打死，或當了俘虜。
關於黃百韜自殺時的具體情況，各種記載小有出入。據當時陪同黃百韜出逃、黃自殺時又在場的二十五軍副軍長楊廷宴的回憶是這樣的：
當時黃百韜、陳士章、劉鎮湘等見情勢危急，決心各帶一部分人向西突圍。黃突出後走至一茅棚附近，隻剩我們兩人，見四麵皆有解放軍包圍，無法再走，即舉槍自殺，但並未斷氣，我又加了一槍。黃死後我正在哭，解放軍來盤問我，我說：“我是夥夫，死的是夥夫頭，是我的哥哥。”解放軍未再追究，我把黃掩埋後，鑽空子跑了出來。
可笑的是，劉峙關於“徐東大捷”的“喜訊”還在南京、上海的報紙上吹噓之時，黃百韜兵團就已完蛋了。按照蔣介石的命令組成的以國民黨中央宣傳部長張道藩為團長的徐州前線勞軍慰問團，正好在黃百韜自殺的這天來到徐州，隨團而來的還有中外記者數十人。劉峙為了欺騙中外記者，臨時在邱清泉兵團搞了一個“戰績展覽”讓人參觀。當一位有疑心的記者發問：“這樣的大捷，請問黃百韜將軍到哪裏去了？”杜聿明隻好回答說：“黃百韜回家休息去了。”
黃百韜兵團所屬的5個軍竟會如此迅速而幹淨地全軍覆沒，在當時是出乎不少人的意料。連黃百韜本人在自知已經陷於不可挽救的結局時，也曾對楊廷宴說過他的“三不解”，這就是：
一是我為什麼那麼傻，要在新安鎮等四十四軍兩天？如果我早兩天向西撤退，解放軍不一定抓得住我；二是我在新安鎮等兩天之久，為什麼不在運河上架設軍橋？結果因運河阻隔，再一次影響了我的西撤行動；三是李彌既然以後要向東進攻來援救我，為什麼當初不在曹八集附近掩護我西撤？結果因其過早撤往徐州，陷我於孤軍之地。
黃百韜看到了在具體的戰術方案上的一些問題，卻未能看到國民黨軍隊在全局上的敗局，未能看到蔣家王朝早已處於必敗的命運。退一萬步說，如果黃百韜在戰術行動上能按他的設想加以實現，讓他順利退往徐州，他也隻是多活幾天而已。在淮海戰場上被我軍消滅的國民黨軍隊的高級將領中，包括杜聿明本人在內，有好些都是從東北戰場上僥幸回到中原來的，結果不是和東北戰場上被消滅的結局一樣嗎？不過，黃百韜在臨死之前總還算對失敗的具體原因做了一點檢討，要比蔣介石強。
蔣介石得知黃百韜全軍覆沒之後，卻隻會發氣罵下屬。他在給劉峙和杜聿明的電報中說：“查此次徐州會戰，我東進各兵團行動遲緩，未能徹底奉命，致陷友軍於覆滅，實有失軍人武德。”“另據統計，此次作戰共消耗各種炮彈12萬餘發，而我軍每日進展尚不及一公裏，如此消耗浪費，不計成效，亦我革命軍人之奇恥大辱。”蔣介石當然未曾想到，有失軍人武德和奇恥大辱之事還多，即將源源到來。
黃百韜兵團的5個軍共12萬人被消滅，中央軍委關於淮海戰役第一階段的任務勝利完成。第一階段的勝利不僅消滅了以黃百韜兵團為主的總共18個整師（包括起義的三個半師），給邱清泉、李彌、孫元良、劉汝明兵團以相當的打擊，斬斷了徐州國民黨軍隊的右翼，總共殲敵17.8萬餘人，而且還使山東解放區和蘇北解放區連成了一片，完全切斷了敵人在徐州和蚌埠之間的聯係，控製了津浦鐵路南段近200公裏的鐵路線，使徐州之敵完全處於孤立之中，敵人所經營的“一點兩線”的防禦體係完全被打破。還有一個很重要的成果是使會戰雙方的力量對比發生了變化，使我軍兵力取得了優勢並掌握了主動權。所以，連劉峙也不得不承認：“黃百韜覆滅，所謂徐蚌會戰的命運已經決定了。”
上述好消息立即報告到設在周家寨的粟裕臨時指揮部。當華野副參謀長張震向粟裕報告“黃百韜兵團已被全部殲滅”之後，一直處在高度緊張中的粟裕竟然一下子暈過去了，從上午一直睡到掌燈。為了這一仗，他太辛苦、太緊張了。若幹年後，粟裕在回憶這一段曆史時說過，在整個淮海戰役中，他緊張過兩次，第一次就是打黃百韜。他說：
上至中央軍委，包括主席，下至我們，開始都對黃百韜兵團的戰鬥力估計不足啊！後來我們碰了釘子，可又不敢向主席叫苦，隻有豁出命來打。主席天天來電催問戰況，我心裏很著急。部隊打得很苦啊！
是的，粟裕的部隊的確打得很苦。消滅黃百韜兵團和阻擊援黃兵團都是在一馬平川的淮北大平原上打的，時間又十分緊迫，戰士們一般都隻能利用敵人原來的工事，來不及修築適合自己的工事，在敵人從地麵和空中的強大火力之下，戰士們雖然個個英勇奮戰，取得了一個又一個勝利，可是部隊的傷亡也不小，四縱、七縱、八縱、九縱、十縱、十一縱、十三縱的傷亡人數都在2000以上，最多的高達五千。直到現在，在碾莊曹門樓的烈士陵園中，還排列著上千座同一形狀的烈士墓，墓碑上刻著劉少奇同誌題寫的“浩氣長存”四個大字。
黃百韜兵團被消滅的第二天，毛澤東和中央軍委就淮海戰役第一階段的勝利致電淮海戰役總前委和兩大野戰軍總部，電報說：
淮海戰役第一階段，你們殲滅黃百韜兵團等部18個整師，隔斷徐蚌聯係，使徐敵處於孤立地位，這是一個偉大的勝利。
在戰役發起前，我們已估計到第一階段可能消滅敵人18個師，但對隔斷徐蚌、使徐敵完全孤立這一點，那時我們尚不敢作這種估計。這種形勢的造成，主觀上是因為我華東、中原兩大野戰軍合並並攻克宿縣，客觀上是敵人隻有某種程度的防禦能力（對於這一點決不可輕視），很少有攻擊能力（對於這一點必須有充分認識）。劉峙集團除被殲者外，尚有50個師左右，這個敵人是可以消滅的。但是，必須準備給全戰役以3個月至5個月的時間，必須準備以幾個作戰階段（你們已完成了第一個作戰階段）去取得全戰役的勝利，必須準備全軍部隊及民夫130萬人左右，3個月至5個月的糧食、草料、彈藥，10萬至20萬傷員的醫治，必須爭取全軍各部隊在全戰役所需時間中有二分之一以上時間的休息整補，務使士氣旺盛，精力飽滿，對於兵員必須實行隨戰隨補、隨補隨戰的方針，對於人民必須實行耕戰互助的方針。在戰術方麵，必須不是依靠奇襲，而是依靠充分的偵察和技術準備（近迫作業、步炮協同等）去取得成功。必須對於我軍和居民進行充分的政治工作，對於敵軍進行猛烈的有實效的政治攻勢，對於劉汝明等部則進行內部策反工作。隻要你們注意了和完成了這些條件，你們就有可能取得這一具有全國意義的偉大戰役的勝利。
毛澤東和中央軍委的這封電報，既是對淮海戰役第一階段的總結，更是對以後階段的全麵部署，對於以後的作戰與後方工作具有十分重要的指導意義。