根據中央軍委的統一部署，華野在粟裕和譚震林的領導下，於10月4日開始，在曲阜的孔林召開了師以上幹部會議，對不久即將開打的大仗進行了充分討論、做了準備。11月初，我軍的偵察人員發現駐連雲港地區的敵第九綏靖區的部隊有從海上撤退的跡象，粟裕立即命令部隊準備發起攻擊，並於11月6日向中央作了報告。華野的司令部也來到了距黃百韜兵團不遠的郯城西北的馬頭鎮。為了大部隊行動的保密，粟裕命令各部，“為免過早暴露，各縱行動中，盡量利用長途電話線接線聯絡、汽車傳騎聯絡，到集結地點後再行恢複電台聯絡”。所以，部隊展開行動以後的3天之內，華野總部與各縱隊之間的電波基本消失，讓國民黨軍隊一直未能搞清楚我軍各部隊的具體行動方向。
11月6日，粟裕、譚震林、陳士榘、張震、唐亮等華野總部領導在馬頭鎮召開了有各縱隊首長參加的軍事會議。在會上，粟裕告訴各縱隊領導，我軍南下的動作敵人已經知道了，敵人必然會收縮兵力於徐州附近，這對我軍展開作戰十分不利。所以我軍必須快速南下，拖住、切斷並包圍黃百韜兵團。張震副參謀長又對各縱隊的具體進軍方向與任務作了進一步的布置。會後，在西起單縣、東到贛榆的350來公裏的推進麵上，分兵四路，浩浩蕩蕩，向徐州地區的蔣軍殺去。醞釀已久的淮海大戰正式打響。
第一路的左翼縱隊是華野蘇北兵團的3個縱隊，即二縱、十二縱、十一縱（中野的十一縱，這時隨華野行動），由韋國清司令員率領，由贛榆地區出發，目標是連雲港、海州與新安鎮之間的阿湖鎮，其任務是切斷黃百韜兵團向東邊撤退後從海上逃走的退路。同時占領連雲港和海州。
第二路的中路大軍是由粟裕親自率領的華野總部和7個縱隊的強大兵力，即一縱、六縱、九縱、魯中南縱、四縱、八縱、十三縱，由臨沂地區出發，直指黃百韜兵團總部駐地新安鎮，將對黃百韜兵團進行包圍，並切斷其與李彌兵團之間的聯係。
第三路的右翼縱隊是山東兵團的3個縱隊，即七縱、十縱、十一縱，由政委譚震林和副司令員王建安率領，由滕縣地區出發，目標是位於徐州以東、新安集以西隴海線上的曹八集和大許家車站，任務是切斷黃百韜兵團向西邊逃入徐州的去路，並阻擊從徐州向東援助黃百韜的敵軍。
第四路的側翼縱隊是由華野三縱、兩廣縱隊和冀魯豫兵團的獨立旅組成的，目標是徐州西北部地區，任務是配合中野在徐州西部的行動，阻止駐在商丘地區的邱清泉兵團向東援救黃百韜兵團，保證我軍對黃百韜兵團實現全殲。
毛澤東在戰役打響之後十分興奮，第二天他在給華東野戰軍粟裕等人的電報中表示，完全同意他們的攻擊部署，並說：
完全同意魚戍（按：這裏的“魚戍”是當時中文電碼中使用的“韻目代日”的表示方式，以地支代表月份，以韻目代表日期，“魚戍”就是代表11月6日）電所述攻擊計劃，望你們堅決執行。非有特殊重大變化，不要改變計劃，愈堅決愈能勝利。在此方針下，由你們機斷專行，不要事事請示，但將戰況及意見每日或每兩日或每三日報告一次。
淮海戰役開始之前，黃百韜的七兵團駐紮於徐州以東的新安鎮和阿湖鎮一帶的隴海路沿線。根據11月5日徐州軍事會議的決定，在他東邊大海邊上的第九綏靖區李延年部要全部向西撤，原來屬於第九綏靖區的四十四軍還要交由黃百韜指揮。按照軍事會議的決定和顧祝同的命令，雖然黃百韜的七兵團也要向西撤，要渡過運河向徐州靠近，由於李延年部還在他的東邊，暴露在華東野戰軍的打擊之下，所以，按照顧祝同的命令，黃百韜必須得讓李延年部先動，必須要掩護李延年，要待李延年部西撤完畢之後，七兵團的大部隊才能行動。由於四十四軍已歸於黃百韜指揮，又由於原來開往海州的一○○軍歸還七兵團建製，黃百韜兵團一下子就成了5個軍，要在一個狹窄的範圍內迅速轉移這些部隊就相當困難。而這時黃百韜已經察覺到北邊的我華東野戰軍正在向南邊壓過來，他必須按徐州軍事會議的部署盡快向西移動，渡過運河。所以這時黃百韜對顧祝同的部署極為不滿，大發牢騷，並對李延年說：“國防部作戰計劃一再變更，處處被動，正是將帥無才，累死三軍。”
黃百韜所以有如此牢騷不足為怪，因為突然要讓5個軍迅速轉移的確困難。還有一點是，黃百韜早就看到了徐州地區的國民黨軍隊幾十萬人在隴海線上一字排開的不妥，他曾向劉峙提過兩條建議：
（一）陳毅部主力將會和蘇北的3個縱隊夾擊職部（按：
“職部”是舊時的謙稱，就是我部）。而劉伯承則從西南方向牽製鈞部（按：“鈞部”是舊時的尊稱，就是你部、貴部）主力各兵團，使不能應援職部。如此擊破職部後，再循序各個擊破各兵團之企圖，已甚明顯。（二）我軍分布於隴海沿線，戰線遼闊，且四麵八方均有敵情，備左則右寡，備前則後寡，無所不備則無所不寡。唯有效拿破侖的團式集中法，結合各兵團於徐州四周，然後掌握戰機，趁陳、劉大軍尚未會師之前而各個擊破之。