碾莊以西是曹八集，曹八集以西是大許家，大許家距碾莊隻有15公裏左右。隴海路在大許家有一個車站，就在大許家稍北有一座小土山，相傳是當年關羽投降曹操之處。山上有一個火神廟，華東野戰軍的臨時指揮部就設在這個小廟裏。將指揮部設在前沿，耳中要聽到槍聲，這是粟裕指揮作戰的作風。作為統兵數十萬的一方統帥，甚至曾經把自己的指揮部設在敵人的機槍射程之內，以至毛澤東不得不在數千裏之外給他發出電令：“華野指揮位置太靠前，應立即後撤！”
從11月11日開始，華野的四縱、六縱、八縱、九縱、十三縱這5個縱隊在特種兵縱隊的配合下，向碾莊地區的黃百韜兵團發起了一次又一次的進攻。八縱在東邊，九縱在南邊，六縱在西南邊，十三縱在西邊，四縱在北邊。開始進攻時，進攻的重點放在敵軍中戰鬥力較弱的南邊的四十四軍和西邊的一〇〇軍。13日，隴海線上的四十四軍全軍潰敗，鐵路以南的村莊和鐵路線上的碾莊車站均被我軍占領，四十四軍退至鐵路以北，以後再退至大芽莊。18日晚，四十四軍的一五〇師師長趙壁光率殘部2000多人向我軍投降。17日，防守碾莊西北方向的第一〇〇軍被我擊潰，由原來據守的彭莊、賀台子一線退至大芽莊，軍長周誌道負傷。
我軍雖然取得了一些進展，把敵人的防線愈壓愈小，可是在這不大的區域內所消滅的敵人並不多。在這種情況下，身陷重圍的敵人困獸猶鬥，抵抗極為頑強。黃百韜兵團的約10萬大軍被圍困在一塊不大的戰場上，所以火力相當集中，100米左右的陣地就有20多挺機槍；由於敵人基本上都有可以利用的工事，防守起來比較方便，而我軍的進攻地帶基本上都是平曠的開闊地，在進攻時十分吃虧。八縱在東邊向六十四軍展開進攻時，用了六十五團和六十六團兩個團攻打一個不大的村莊魯家樓，而敵人隻有一個四七五團，激戰一晝夜，竟然隻攻占了半個村莊。到第三天魯家樓才被全部拿下，但六十六團政委李樹桐卻犧牲在第一線，有的連隊打得隻剩下兩個人。所以，我軍的進攻進展很慢，彈藥消耗很大，兵員傷亡很大。我軍對敵人的進攻打得相當堅決，相當勇猛，在發起進攻3天之後，單是陶勇率領的四縱，就已經傷亡了4200多人。當粟裕向陶勇了解傷亡情況時，陶勇開始還不願說實話。可是陶勇不知道，粟裕不僅到了四縱的陣地，也去了九縱的陣地，不僅認真研究了我方的進攻，還幾次在第一線研究了敵人的防守工事和防禦打法。不僅如此，他還親自到戰地醫院去掌握了我軍傷亡情況的第一手材料。粟裕已經在考慮新的戰術方案了。
當陶勇向粟裕如實報告了戰場上的具體情況之後，粟裕根據他這3天之中的仔細思考，在11月14日召開了圍攻黃百韜兵團各個縱隊負責人會議，決定改變打法。這是因為，在部隊出發前，強調的是一個快字，要求各縱隊要盡可能快地抓住敵人，要求部隊抓住敵人之後就堅決進攻，以免把敵人放走。當時要求過大家在抓住敵人之後要大膽穿插，分割包圍，可是由於在猛追敵人過程中，不少部隊都打亂了建製，過了運河之後還未能來得及調整就進入了戰鬥，各級指揮員還在按原來的“大膽穿插，分割包圍”的要求在打。其實，目前所遇到的情況與出發前預想的情況已經大不相同，現在敵人是緊縮於一團，利用李彌兵團留下的工事在層層設防，拚死固守。我軍如果再用猛打猛衝的辦法，隻能帶來更多的犧牲。多年來打慣了運動戰，而現在卻是打典型的陣地戰，部分指戰員還不能根據情況的變化盡快改變自己的戰術。所以，粟裕要求各縱隊立即改變打法，不能打得太猛，不能要求速決，眼下擺的是硬骨頭，要磨出尖牙利齒，一口一口地啃。同時，對包圍圈中的敵人也不能四麵八方都打，粟裕的策略是“先打弱敵，後打強敵；攻其首腦，亂其部署”。