中原野戰軍東進之後如何打，這早在東進之前就已經做好了認真的準備。
這時在徐州正西邊的國民黨軍隊是位於隴海線上的二兵團，即邱清泉兵團，以碭山為中心。在徐州西南邊的是十六兵團，即孫元良兵團，以蒙城為中心。但是，根據以大規模殲滅敵人有生力量為主的作戰方針，中原野戰軍並沒有把這兩個兵團作為自己的主要目標。毛澤東早在10月23日的電報中就已指出，中野東進之後的第一個目標是殲滅孫元良，第二個目標是攻取宿縣。由於孫元良在宿縣之西，所以打孫元良是次要的，主要的是為了攻取宿縣。為什麼要把宿縣作為首要目標？因為宿縣在津浦路上，位於徐州的正南方，宿縣的南邊是蚌埠，蚌埠的南邊就是南京。宿縣的東西南北都有國民黨軍隊的重兵，如果我軍以突擊的方式打下宿縣，一則就切斷了徐州和蚌埠、南京的聯係，也就是切斷了徐州和國民黨老巢的聯係，使徐州地區的敵人既不可能再得到南京方麵通過津浦路運送的任何補給，也不可能由津浦路南逃，完全處於我軍的包圍和打擊之下，這就為我軍對徐州的幾十萬敵人予以全殲創造了有利的條件。二則宿縣位於徐州地區國民黨幾十萬大軍的中部，我軍攻占了宿縣，就有如中心開花，可以打亂敵人相互之間的聯係和配合。這一著，在古代拳師的術語中叫做“黑虎掏心”。打宿縣，是毛澤東曾經稱之為淮海戰役總方針的“隔斷徐、蚌，殲滅劉峙主力”中的重要一環。
中原野戰軍的幾位領導人都同意先從中間突破，打亂敵人的全局部署這種打法。11月2日，還在豫西的劉伯承、鄧子恢、李達在給軍委並同時也給陳毅、鄧小平的電報中說：“應力求首先切斷徐、宿鐵路，造成隔斷孫兵團、會攻徐州之勢。”
11月5日，陳毅、鄧小平發現敵第四綏靖區的一八一師在商丘東南的張公店，立即將其解決，殲敵5000餘人，活捉敵中將副司令米文和。
11月8日，攻克碭山（此時原來駐在碭山的邱清泉兵團剛開始向東開進去援救黃百韜，就在碭山以東的黃口），威逼徐州。其實，逼徐州是做給劉峙看的假象。因為毛澤東在11月9日給陳、鄧的電報中就明確指示：“直接指揮各部，包括一、三、四、九縱，應直出宿縣，切斷宿蚌路，四縱不應在黃口附近打邱清泉，而應迅速攻宿縣，一縱在解決一八一師後，應立即去宿縣。”兩天以後，毛澤東再次在電報中指示陳、鄧：“以宿縣為中心，控製整個徐蚌線，構築幾道防線，阻止徐敵南逃，待其南逃時，協同華野全殲徐敵。但應同時注意對黃百韜潰兵的堵擊。”毛澤東特別指示：“此時我軍愈堅決，愈大膽，就愈能勝利。”
為了完成中央軍委確定的“隔斷徐、蚌，殲滅劉峙主力”的任務，陳毅和鄧小平從商丘的朱口經柘城到達徐州西南永城的臨渙集，將指揮部設在臨渙集的文昌宮。劉伯承也星夜從豫西趕到永城與陳毅和鄧小平會合。11月11日，劉伯承、陳毅和鄧小平在臨渙集召集中原野戰軍一縱司令員楊勇、三縱司令員陳錫聯、四縱司令員陳賡、九縱司令員秦基偉開會，布置任務。鄧小平說：
切斷徐蚌線，占領宿縣，可以北拒徐州，堵住徐州之敵南逃的後路；可以南阻蚌埠，斬斷南線敵人北援的交通；製止孫元良兵團東援，夾住黃維兵團北上，黃百韜兵團隻有束手待殲，蔣介石稱為生命線的津浦路就要切斷了。為了這個目的，在淮海戰場上，隻要殲滅了敵人南線主力，中野就是打光了，全國各路解放軍還可以取得全國勝利，這個代價是值得的。