1948年9月24日，我華東野戰軍攻克華東重鎮濟南，活捉了國民黨第二綏靖區司令官、山東省黨政軍統一指揮部主任王耀武，山東省基本上全部解放。到這時，任何人都會明白，華野兵鋒所指，必然就是緊接著山東邊界的徐州。但是，這時的徐州是國民黨中原戰場上屯兵最多的軍事樞紐，不是隨便就可以打的。所以，這一戰不是打不打的問題，而是什麼時候打和如何打的問題。
就在9月24日這一天的早上，當我華野已經突入濟南城的東南角和西南角，向濟南城中做縱深發展進行巷戰的時候，華野代司令員兼政委粟裕向中央軍委發出了一封電報，電報同時也報華東局和中原局，“建議立即進行淮海戰役”，因為，如果“全軍即進入休整，如此對部隊有好處，但易失去適宜作戰的秋涼氣候和濟南失守後加於敵人之精神壓力”。為此他向中央提出了三個方案：（一）舉行淮海戰役，就是乘徐州南邊地區的淮安、淮陰一帶敵人力量空虛，由華野的蘇北兵團（即第四兵團）攻占淮安、淮陰、高郵、寶應等運河沿線城市。華野其他部隊此時須在宿遷一線布防，嚴防徐州之敵向南援助。等到運河沿線城市解放之後，再向東進攻，解放海邊的海州和連雲港。此戰結束之後，徐州的南邊和東邊地區就基本上被我控製，而北邊和西邊早已是我軍控製地區，徐州就處於我軍的四麵包圍之中。這時我軍再作休整，準備下階段更大的戰鬥。（二）隻打海州、連雲港地區，解決徐州東麵的敵人之後，部隊即進行休整。這樣打可以使部隊較早得到休整，但對今後攻打兩淮不利，因為敵人可能向兩淮增兵。（三）隻殲滅敵人從徐州向濟南方向增援之敵，但如果敵人不來增援，就無法消滅敵人。在上述三個方案中，粟裕自己認為以第一方案為最佳。
這時，粟裕雖然隻是在計劃華野在濟南戰役之後如何打的問題，實際上已經進入了如何對付徐州劉峙集團的問題，提出了打“淮海戰役”，即如何解決淮河流域到海邊這一片軍事要地上的國民黨軍隊的問題。
粟裕把他的這份電報同時也發給了中原野戰軍的劉伯承和陳毅。9月25日，也就是粟裕發出電報的第二天，劉伯承和陳毅給中央軍委的電報中明確表示，“濟南攻克後，我們同意乘勝進行淮海戰役，以第一方案攻兩淮，並吸引打援敵為最好”，支持粟裕的第一方案。
就這樣，日後名震全國的“淮海戰役”這四個大字放到了毛澤東的麵前。
毛澤東在西柏坡認真考慮了粟裕的方案。在毛澤東的心中，當然想到了華野拿下山東全省之後下一步如何打的問題，他當然也認為淮海戰役是必然要打的，是順理成章之事。所以，毛澤東在9月25日這天立即回電粟裕和當時的華東局書記饒漱石：
我們認為舉行淮海戰役甚為必要。目前不需要大休整，待淮海戰役後再進行一次休整。淮海戰役可於10月10日左右開始行動。你們應利用目前半月時間，使攻濟部隊獲得短時休息，然後留一個縱隊位於魯西南，起牽製作用，吳化文亦應移至魯西南（按：這是指在濟南戰役中起義的吳化文部），其餘全部南下，準備進行幾個作戰：（一）估計不久邱清泉兵團將退回商丘、碭山地區，黃百韜兵團將回至新安鎮、運河車站地區，你們第一個作戰，應以殲滅黃兵團於新安、運河之線為目標；（二）殲滅兩淮、高寶地區之敵，為第二個作戰；（三）殲滅海州、連雲港、灌雲地區之敵，為第三個作戰。進行這三個作戰是一個大戰役。打得好，你們可以殲敵十幾個旅，可以打通山東與蘇北的聯係，可以迫使敵人分散一部兵力去保衛長江，而利於你們下一步進行徐州、浦口線上之作戰。因此，你們應在10月10日以前做好有關這一戰役的充分的準備工作，要開一次像上月曲阜會議那樣的幹部會，統一作戰意誌，調整內部關係。
從上述電報可以明顯地看出，對於這一仗應當怎麼打，當毛澤東剛剛接到粟裕的電報時，他的決定是先打黃百韜兵團。這是因為，在徐州地區的敵軍之中，3個綏靖區的部隊不是機動兵團，也不是蔣軍主力，可以先放在一邊，以後順便來解決。在4個機動兵團中，黃百韜兵團距徐州最遠，其東邊就是大海，對我軍的攻擊行動很有利。另外，黃百韜兵團在蔣軍中不算嫡係，如果被我圍攻，其他幾個兵團不大可能進行拚死相救。根據這種考慮，作為一個卓越的軍事家，毛澤東很快就作出了先打黃百韜的決定，所以他在上述電報中明確告訴粟裕“你們第一個作戰，應以殲滅黃兵團於新安、運河之線為目標”。
毛澤東在這封電報中的幾個估計都完全正確，就在3天之後，黃百韜兵團的確就到了新安鎮地區，邱清泉兵團也的確就到了商丘地區。這就是說，無論是粟裕，還是毛澤東，這個時期在心中所考慮的“淮海戰役”，並不是後來實際進行的淮海戰役，我們可以姑且稱之為“小淮海戰役”，其目標是奪取兩淮（淮安、淮陰）和海州（這也就是當時稱之為“淮海戰役”的原因），占領徐州的東邊和南邊的部分地區，打通山東和蘇北解放區之間的聯係，威脅長江北岸，為下一步在徐州、浦口一線作戰創造有利條件。所以，9月28日，毛澤東在給粟裕的電報中指出：
黃兵團調回新安鎮地區業已證實。你們淮海戰役第一個作戰，並且是最主要的作戰，是鉗製邱、李兩兵團，殲滅黃兵團。新安鎮地區距離徐州甚近，邱、李兩兵團赴援甚快。
從這封電報中完全可以看出，這裏所考慮的淮海戰役，其規模是“比睢杞戰役也可能要大”，“最主要的作戰”隻是“殲滅黃兵團”，這不是後來決戰淮海的那一場淮海戰役。不過，首先要消滅黃百韜兵團，這一點卻一直是沒有過任何變化的。
這個時候中原地區的國民黨軍隊為了準備對付我華東野戰軍的進攻，已經組成了一個以徐州為中心的縱深防禦體係，其部隊的編製與年初已經有所不同。徐州“剿總”所指揮的有4個機動兵團、3個綏靖區的部隊，這些部隊在1948年9月的分布是：黃百韜的第七兵團有4個軍，分布在徐州以東隴海線上的新安鎮地區。李彌第十三兵團有兩個軍，在徐州以東隴海線的曹八集地區，距徐州較第七兵團更近。邱清泉的第二兵團有三個半軍（第十二軍隻有兩個師），在徐州以西隴海線上的黃口、碭山地區。孫元良的第十六兵團有3個軍，距徐州稍遠一點，在徐州西南的蒙城地區。作為徐州“剿總”直屬的還有第七十二、第一○七、第一一五3個軍。李延年的第九綏靖區有第四十四軍，駐在東海邊上的海州。馮治安的第三綏靖區有第五十九和七十七兩個軍，駐在徐州東北的韓莊、台兒莊地區。劉汝明的第四綏靖區有第五十五、第六十八兩個軍，駐在徐州西邊隴海線上的商丘地區。除了上述部隊之外，原來屬於武漢“剿總”的黃維第十二兵團的4個軍已經向平漢線移動，用於牽製我中原野戰軍，支援徐州。以上共有24個軍約70萬人，加上部分其他軍事力量，總兵力超過80萬人。在濟南失守之後，蔣介石知道徐州即將成為我華東野戰軍的主攻目標，他必須“堅固兩淮、徐蚌”，遂命令劉峙將太靠北的菏澤、定陶一帶的軍隊全部南撤，用於以徐州地區為中心的“攻勢防禦”。