豫東戰役結束之後，為了切斷徐州和山東的聯係，為了讓整個山東解放區連成一片，為了進一步取得打大仗、攻打大城市的經驗，更重要的是，為了在解決濟南之後，我軍沒有後顧之憂，能騰出手來將力量投入淮海方向的大戰中去。我軍決定攻打濟南。
山東省會濟南是聯結華東、中原、華北三大戰場的戰略樞紐，自從日軍占領時期起，就不斷修築了大量而堅固的工事，國民黨軍在其基礎上又加以擴大和加固，既有古老的城牆、城壕，又有現代化的電網、地雷，加上各種類型的碉堡，防守體係十分堅固。
濟南國民黨守軍的主將是徐州綏靖公署第二綏靖區司令官王耀武。
王耀武雖然隻是黃埔三期畢業生，可他卻在過去與工農紅軍的戰鬥和對日作戰中立過大功，是所有黃埔學生中第一個出任方麵軍司令官和省主席的人。不過，這時候的山東戰局已無法讓王耀武樂觀，因為王耀武所轄的軍隊已經在萊蕪戰役、孟良崮戰役、魯西南戰役等戰役中多次被我軍擊敗，他早已深知陳毅、粟裕的厲害。所以，雖然濟南有堅固的縱深達十幾公裏的防禦體係，雖然他在濟南已經苦心經營多年，但對濟南的防守仍然沒有多少信心。自豫東戰役之後，他已明顯地察覺到華東野戰軍在向魯西結集，粟裕的下一個目標十有八九就是他所防守的濟南。他如芒在背，急飛南京，向蔣介石彙報軍情，請求援軍。
有多年作戰經驗的蔣介石對於濟南這個戰略要地的重要性當然是十分明白的，而且他也已經預感到，雙方都在徐州地區集中了大量兵力，這個自古就是兵家必爭之地的徐州地區不久就會有一場大戰。如果濟南能夠掌握在自己手中，不僅可以將粟裕的幾十萬兵力拖在山東，又能使未來的大戰開戰以後讓粟裕有後顧之憂，所以蔣介石決定給王耀武增加兵力。為了搶時間，蔣介石命令空軍司令王叔銘安排大批空運力量，很快從青島、徐州向濟南運送了一個整編師和兩個旅的兵力，使王耀武手中的兵力達到了三個整師又五個旅，共11萬人。同時蔣介石命令徐州“剿總”副司令杜聿明指揮黃百韜、李彌、邱清泉三個兵團共17萬人組成所謂“進剿兵團”，一旦濟南打響，就分路北援濟南。此外，蔣介石還命令他的空軍部隊以濟南、青島為基地，以北平、徐州為輔基地，集中戰鬥機162架、重型轟炸機42架，作為空中打擊與支援力量。於是，王耀武增強了信心，就把全力投入到濟南的防守，等待著華東野戰軍對濟南的攻城。
勢態很明顯，雙方都看準了這一著棋，都把濟南這一仗看作了未來在徐州地區大戰的一場必不可少的前奏。
濟南的攻防之戰將是一場惡仗。
在西柏坡，毛澤東和中央軍委的負責人一直注視著粟裕當時設在濟寧的指揮部，因為他們也一致認為，必須解放濟南，但“這是一次嚴重作戰”。因為，打濟南的主要麻煩不在於濟南的11萬守軍，而在於我軍隻要在濟南一打響，蔣介石在徐州地區的大量援軍必然北上，如何才能成功地在打援中大量殲滅敵人的有生力量，不使我軍在濟南城下的攻堅戰形成被動局麵，是應當著重考慮的大問題。為此，中央軍委和華東野戰軍負責人之間的電報不斷，反複研究，最後才定下了作戰方案。這一仗，總的指揮由粟裕負責，而攻城指揮，由許世友負責。攻城兵力，以山東兵團為主，共為50個團14萬人；打援兵力，安排90多個團18萬人。
打援的主要地區，放在兗州和钜野（今巨野）之間，夾運河而陣，以便於屆時能主動地在河東或河西殲滅敵人。攻城分為兩個階段：第一階段首先攻占城西的飛機場，截斷敵人空中援助支持的通道；第二階段再行攻城。整個戰役爭取一個月完成，但要做好打三個月的準備。此外，中央軍委還命令中原野戰軍做好準備，如果蔣介石要從鄭州、信陽調動張軫兵團、孫元良兵團向山東支援的話，就加以阻擊，配合濟南方麵的華東野戰軍。就在中共中央政治局西柏坡九月會議期間，中央軍委與華野前線的電報仍然不斷，整個戰役的具體計劃，則是在緊張籌備九月會議的進程中完成的。9月2日，毛澤東在華東野戰軍最後完成的作戰方案上做了“完全同意”的批複。當天，華東野戰軍就下達了開始行動的作戰命令。
濟南戰役的攻城總指揮是許世友。
許世友擔任攻打濟南的攻城兵團司令員，粟裕給了他六個半縱隊，還有特種兵縱隊的大部和一些地方部隊，共有14萬人。許世友把這14萬人分成了東西兩個集團：東麵攻城集團軍由九縱司令員聶鳳智、政委劉浩天指揮，西麵攻城集團軍由十縱司令員宋時輪、政委劉培善指揮。
9月7日，許世友下達了對濟南發起攻擊的命令。這一天，正是中共中央在西柏坡召開政治局會議正式開會的前一天。當政治局會議正式開幕的時候，我十幾萬大軍正在向濟南城下開進。
9月15日夜，我東、西兩麵的攻城集團軍已分別從濟寧、汶上和泰安、萊蕪地區逼近濟南城郊。16日夜，突然向守軍發起攻擊並迅速將外圍突破。經過兩天一層一層地摧毀敵人的工事，西集團軍在18日就已逼近飛機場，炮火已使得敵人的飛機不能自由起降。蔣介石運送部隊給濟南的空中支援隻能停止。東集團軍則已占領茂嶺山、硯池山、回龍山等要點，直撲外城。正當王耀武全力保衛機場和城區時，一件讓王耀武萬萬想不到的事情發生了：19日，奉命守衛西城區的第九十六軍軍長吳化文率所部三個旅兩萬餘人宣布起義。