月17日，蔣介石令徐州"剿總"副總司令杜聿明率第二、第十三兵團由魯西南北援，第七兵團向徐州集結，準備沿津浦路向北攻擊，企圖實施其事先擬定的"會戰計劃"。中共中央軍委獲息後立即致電華東野戰軍準備阻擊，並指出王耀武很有可能突圍而出，向天津或青島或臨沂等處退路，務必布置好，達到全殲目的。遵此，華東野戰軍即令攻城部隊9月20日迅速向商埠及城垣攻擊，同時部署力量防敵逃跑，打援、阻援部隊調整作戰方案，準備集中打擊已集臨城的國民黨軍邱清泉第二兵團。
攻城部隊激戰至24日晚，連續突破外城和內戰，全殲守軍104290人（內有吳化文部2萬人起義），活捉王耀武等高級將領23人。由於華東野戰軍僅以8晝夜就迅速攻克濟南，以及打援、阻援部隊嚴陣以待，國民黨軍徐州地區的3個兵團懼怕被殲，未敢北援，蔣介石的"會戰計劃"完全泡湯。
濟南的攻克，使華北、華東兩大解放區聯成一片，沉重地打擊了國民黨軍隊堅守大城市的信心。濟南戰役的勝利，為人民解放軍奪取國民黨軍重兵把守的大城市取得了許多經驗，過了"真正的帶決戰性的攻堅這一關"，給予人民解放軍全軍將士以極大的鼓舞。中共中央軍委9月25日批準了粟裕關於舉行淮海戰役的建議，兩天以後，又向東北解放軍首長提出殲滅衛立煌集團36個旅，並奪取長春、沈陽的任務。周恩來後來指出：三大戰役的序幕是濟南戰役。
淮海戰役
11月6日至1949年1月10日，華東、中原解放軍及地方部隊60萬人，在以徐州為中心，東起海州西止商邱，北起臨城南達淮河的廣大地區內，同80萬國民黨軍隊展開淮海大決戰，殲滅了長江以北、黃河以南的國民黨軍隊。
在人民解放軍發起完成濟南戰役之後，蔣介石感到徐蚌會戰迫在眉睫，匆忙布置華中、徐州地區的防禦：以白崇禧駐武漢指揮2個兵團、4個"綏靖"區共23萬人，防禦平漢路南段及長江中遊地區，鉗製中原解放軍主力；調華中所屬第十二兵團加入徐州方麵，以增加該方麵防禦力量；以劉峙指揮4個兵團和4個"綏靖區"部隊置於津浦路徐州、蚌埠段及其兩側地區，采取"攻勢防禦"，確保該段交通，以拱衛南京、上海。到1948年11月中旬，蔣介石又將從遼沈戰場撤出的2個軍投入，並為了加強指揮，又重任杜聿明為徐州"剿總"副總司令兼前進指揮部主任，令他全局指揮。
人民解放軍的淮海決戰方案有一個形成的過程。9月底，中共中央軍委同意粟裕提出的由華東野戰軍出兵徐州、海州進行淮海戰役的建議，同時針對劉峙集團一點兩線（徐州一點，津浦路徐州以南段及隴海路徐州以東段兩段）的部署及重兵密集便於機動的特點，確定了華東野戰軍以殲滅黃伯韜兵團和鉗製邱清泉、李彌兩兵團為作戰目標。10月11日，毛澤東在為中共中央軍委起草的《關於淮海戰役的作戰方針》中，將整個戰役劃分為三個階段，並著重指出第一階段重心在於殲滅黃伯韜兵團，完成中間突破。11月9日、10日，果斷地決定在徐州附近殲滅國民黨軍主力，勿使其南逃，並迅速攻克宿縣以控製徐蚌線，斷敵退路。至此正式形成了殲滅國民黨軍主力於長江以北的決戰方案。為加強領導，便於統一指揮，中共中央軍委11月16日決定成立由中原、華東兩大野戰軍首長劉伯承、陳毅、鄧小平、粟裕、譚震林組成淮海戰役總前委，鄧小平為書記，授以"臨機處置一切"的權力。並責成華東、華中、華北三大區全力支援。
月6日，淮海戰役正式開始，華東野戰軍從臨沂、鄒縣一線分三路南下攻擊黃伯韜兵團。蔣介石以為解放軍目的在於攻打徐州，急忙命令4個兵團向徐州收縮。8日，國民黨第三綏靖區副司令官何基灃、張克俠率部起義。華東野戰軍迅速越過該部防線，將正在向徐州靠近的黃伯韜第七兵團包圍於徐州以東的碾莊地區，22日加以全殲，黃伯韜斃命。徐州"剿總"劉峙哀歎："黃兵團覆沒，所謂徐蚌會戰的命運已經決定。"黃兵團被包圍時，蔣介石命令邱清泉、李彌兩兵團沿隴海路西側向東增援，令孫元良兵團由宿縣調防徐州，令平漢線上的黃維兵團迅速向徐州宿縣一線前進。增援黃兵團的邱李兵團遭到了解放軍東側阻援部隊8個縱隊的阻攔，雖然付出近萬人代價，仍被阻於離碾莊地區50餘華裏的地帶。而在同時，解放軍卻在11月16日攻克了宿縣，完成了對徐州國民黨軍的戰略包圍，並將來援的黃維兵團迎頭阻擊於澮河上遊以南地區。