就在徐州和南京吹吹打打“慶祝勝利”之時，11月19日上午10時，粟裕下令向黃百韜兵團發起總攻。在前線負責具體指揮的譚震林和王建安早已做好了部署，鑒於敵人的守衛範圍已經很小，所以決定首先奪取碾莊敵人的兵團指揮部，把敵人完全打亂之後再行分割消滅敵二十五軍和六十四軍殘部。譚震林和王建安命令八縱以一部鉗製碾莊以東的六十四軍，主力則由碾莊東南向西北方向進攻，直取碾莊的敵兵團司令部；九縱則由南邊向北進攻，目標也是碾莊的敵兵團司令部；四縱則從碾莊西北邊和西邊向碾莊發起攻擊；十三縱和六縱集結於碾莊西邊和西南邊，作為預備隊。同時決定，各縱隊的炮兵統歸華野特種兵縱隊司令陳銳霆統一指揮。
號令一下，我圍攻碾莊的各縱隊大炮一齊開火，對敵軍實行了連續30分鍾的猛烈轟擊。為了在敵人高密度聚集的情況下盡可能多地殺傷敵人，為了減少我軍發起進攻時的傷亡，幾萬發炮彈傾盆大雨一般落在敵人的陣地上。鑒於碾莊一帶敵人已經修築了相當堅固且形成體係的三道工事，我們的炮兵在經過周密的調查研究之後，也改變了過去分散配置、直接瞄準的方法，而是將火炮集中，進行縱深梯次配置：榴彈炮群專門破壞敵人的指揮係統和通信樞紐，壓製敵人集結的有生力量；三八式野炮群專門破壞敵方的高物體目標和壓製射擊；山炮群直接摧毀敵人的各種明堡和暗堡；迫擊炮擺在最前沿，專門壓製敵人的散兵和後續梯隊，消滅死角。在先進行破壞性射擊之後，再進行逐次延伸，支援縱深部隊戰鬥。
黃百韜的炮火被壓住了，他隻能請求徐州的空軍立即出動。可是在碾莊地區方圓十公裏之內，全部被地麵炮火所形成的濃煙所籠罩，空中不可能看清楚地麵的目標，隻得憑過去飛行時的經驗估計著向下投彈。由於這時敵我雙方的距離已經很近，所以國民黨空軍的轟炸既對我軍造成傷亡，也對國民黨軍隊造成傷亡。如果說這次規模不小的轟炸真正對我方造成了一些損失的話，應當是使我方的大量支前民工受到了一些傷亡。
在我軍的猛烈攻擊之下，黃百韜實在招架不住了，隻得向徐州求援，電報中甚至說出了若無緊急援救，就隻好“來生再見”之類的話來。劉峙和杜聿明得到黃百韜如此的求援電報之後，不得不采取最緊急的措施。鑒於從西向東援救黃百韜兵團的邱清泉和李彌兵團已經打了8個晝夜，第一線部隊已經傷亡過半，根本沒有什麼突擊力量了，隻有把由徐州“剿總”直屬的原來作為總預備隊還能投入戰鬥的七十二軍和有一定突擊力量的戰車團拉上去做一次試驗，看能不能對援救黃百韜起一點作用。七十二軍軍長餘錦源認為向前突破十幾公裏不會有多大困難，竟然誇下海口，表示“大許家離碾莊隻有15公裏，大炮炮火已能相接了，我可以一連打下幾個村莊，打過大許家，單刀直入，解黃百韜之圍”。戰車團團長趙誌華也認為他的裝甲車對付解放軍沒有問題，竟說出了“如果步兵跟不上，我的戰車團也能單獨打到碾莊圩去”的狂言。劉峙和杜聿明雖然知道這些豪言壯語隻能先聽了再說，但是抱著試一試的態度，還是以很誠懇的態度將這兩個部下送上了戰場。可是，這兩個隻能說大話的將軍用盡全力打了一天之後就敗下陣來，因為他們在空軍的配合下，實行戰車與步兵協同作戰的結果，是連大許家也過不去，更不說接近碾莊了。
在大炮的轟擊之後，華野指戰員向頑抗在碾莊、小芽莊、尤家湖、吳莊、沙灘、王家莊、小院上、大院上等8個村莊中的敵人發起了衝鋒。
八縱、九縱的目標是黃百韜的司令部所在地碾莊。戰士們麵前的障礙有地堡和鹿寨，有三道土牆，還有一排排用載重汽車組成的鋼鐵防線。最麻煩的是那圍繞村莊的五六米寬的水濠。爆破組先上，浮橋組跟進，很多戰士都是脫下棉衣棉褲蹚水過濠，過濠後就在寒風中向前衝，穿著濕漉漉的單衣和敵人拚刺刀，一步一步地前進，一間房一間房地爭奪，我八縱和九縱終於拿下了碾莊。在我軍進入碾莊之前，黃百韜在他多年的直屬部隊二十五軍副軍長兼碾莊警備司令楊廷宴等人的保護下逃到了大院上。在大院上，當黃百韜得知他的老部隊二十五軍軍長陳士章竟然準備化裝成老百姓逃跑，六十四軍軍長劉鎮湘準備穿上將官大禮服、掛上勳章自殺“成仁”時，決定拚死一搏，拿出他的最後一張牌，讓軍隊中最反動凶殘的特務武裝青年突擊隊組成敢死隊向我軍反撲。可是，在我軍英勇無比的戰士麵前，青年突擊隊的反撲也被打垮了。
當碾莊被我軍攻占之時，其他村莊也紛紛落入我軍之手。最後，隻剩下大院上和尤家湖兩個村莊還在敵人手中。大院上是六十四軍軍部所在地，六十四軍在負隅頑抗時曾經向我軍使用催淚性毒氣彈，等到我軍指戰員中毒倒地後再將我軍指戰員殺害。這種毒辣的犯罪手段在整個解放戰爭中都是少見的。
在黃百韜兵團即將覆滅的前夕，我軍曾經向黃百韜發出最後通牒，要他放下武器，向人民投降。黃百韜拒絕了。21日黃昏，我軍向大院上和尤家湖發起最後攻擊。激戰到次日淩晨，大院上、尤家湖的殘敵全部被我消滅。
在黃百韜兵團即將覆滅的前夕，杜聿明在21日也曾給邱清泉和李彌下過死命令，要邱、李兩兵團必須不惜一切代價，全線出擊，越過大許家，救出黃百韜。可是，邱清泉和李彌這兩個久經沙場的人心中都很清楚，幾天的較量表明，他們不是華東野戰軍的對手，他們要想突破阻擊線已經是不可能了。他們或許可能再往前推進一點，但如果繼續亡命東進，距徐州太遠，他們的後路就很可能被華野的蘇北兵團抄後路，截斷其退回徐州的後路，這就意味著他們也會被包圍，成為黃百韜第二。所以，他們隻是應付式地發動了幾次實際上沒有任何作用的進攻，隻是讓黃百韜多聽了一些從西邊傳來的激烈槍炮聲而已。
當我軍發起攻擊之後，敵六十四軍軍長劉鎮湘勸當時左腿已經被我軍的炮彈炸傷的黃百韜設法突圍。據劉鎮湘回憶，黃百韜對劉鎮湘說了這樣的一段話：“我老了，而且多病，做俘虜我走不動，而且難為情。我犧牲以後，使別人還知道有忠心耿耿的國民黨人，或可使那些醉生夢死的人醒悟過來，國民黨或許還有希望。你年紀還輕，尚有可為，希望你能突圍出去，再為黨國做點事。”但是，求生的欲望仍然刺激著他。他帶著劉鎮湘、楊廷宴等人向北逃去，到了六十四軍一五六師的陣地上。一五六師師長張越秀告訴他“昨晚共軍曾派人來勸降”。應當說，這是黃百韜得以求生的最後一次機會。可是，他卻聽信了他的參謀長魏翱的建議，還想繼續與我軍耍花招。魏翱說：“司令官，我們可以借這個機會，與共軍聯係，拖延一段時間，等待援軍到來。”黃百韜沉思片刻之後說：“決定今晚同他們接頭。”但是，當黃百韜等人還打算拖下去時，我軍向殘存的敵軍發起了最後的攻擊。敵軍的據點一個個被攻克，六十四軍大部隊被殲，軍長劉鎮湘、一五六師師長張越秀等人被俘，那個最後時刻還想耍花招的魏翱本人也同樣當了俘虜。一五九師師長鍾世謙等率殘部2000餘人向我投降。