此時，我軍南下打援未成，北麵濟南之敵又遲遲未動，兗州孤立，出現“空檔”。我山東兵團首長當即決定抓住這一戰機，集中兵力攻下兗州。遂以7縱、13縱和魯中部隊投入攻兗作戰，重新將兗州團團圍住。
這次攻城，上級把55團布置在城南關。55團一到南關，便一鼓作氣攻占了南關的大部分。這給敵人造成了一個極大的威脅。他們千方百計地想把我軍從南關趕出去，用強大的兵力、火力與我軍爭奪。而我軍硬是寸步不讓，堅決固守，一連五六天時間，槍聲、手榴彈聲不停地響著。
7月11日下午，上級下達了總攻的命令，我軍的部署是：20師、21師及19師56團，為主攻部隊；13縱隊和55團，為佯攻部隊；城西、城南、城北都有部隊攻擊，圍三缺一，隻有城東沒有設兵，這是留一個口子，趕敵人出城，以便在東郊徹底消滅之。
翌日黃昏，總攻前的炮擊開始了。我軍集中了全部炮火，向城內各個固定目標進行了猛烈轟擊。城內敵人的野炮營被炸壞了，變成了啞巴；城頭的一座座碉堡被摧毀了，失去了效力；城防的鐵絲網，鹿砦全被炸飛了。借著暮色，我軍佯攻部隊在護城河上很快地架起了浮橋；一隊隊戰土，飛快地越過護城河，作出了攻城姿態，給敵人以錯覺，使敵人判斷錯誤。
這時，城西的主攻部隊20師趁敵人注意力集中在城南、城北的機會，悄悄地把華野支援的多門美式105榴彈炮，推到離城牆約500米處，分段直瞄抵近射擊。幾十發炮彈連續地射向了城牆一處。很快，城牆上出現了使人可以爬上去的斜坡。炮聲剛落，主攻部隊的戰士們像離弦的箭，躍出戰壕，呐喊著衝上城頭，殺進城內。主攻部隊分多路突進城後，同敵人展開了英勇頑強的搏鬥，打退了敵人的多次瘋狂反撲，有力地鞏固了突破口。
敵整編12師原為東北軍舊部，善於守備。在城垣被我軍突破後，敵軍官帶領士兵發起集團衝鋒，敵我雙方展開了一場惡戰。當晚，20師突破口被敵人封鎖。
這時，許世友命令外邊的部隊堅決往裏突，從西往東打，打它個七進七出。不久，突破口重新被我軍打開，後續部隊如潮水般湧人城內，同敵人進行了逐房逐院的爭奪。街頭巷尾都有敵人重兵把守，各種火器打起來，形成了一堵堵的火牆，人是根本無法從街道通過的。
我軍攻城部隊在城內與敵人奮戰了整整一夜，敵人的碉堡、地堡基本上被摧毀或被占領了。各種炮兵陣地大部被我軍攻占，還奪取了許多街道和民房。
敵師長霍守義從我軍攻城後，發出一封封特級告急電報，要求上級增援。結果其主子一兵一卒也沒有派來，反而要霍守義督軍抵抗。一夜間，兗州城已被我軍占領了大半，敵軍死傷慘重，師指揮所也被我軍占領了。戰至下午，我城內部隊越戰越勇，鬥誌高昂；敵軍士氣低落，神情沮喪，死傷和向我軍投降的達萬餘人。敵人陣地一丟再丟，一退再退，已無存身之地了。
蔣介石看霍守義實在無法維持下去了，便下達了準其突圍的命令，並派飛機掩護他們向東南臨城方向突圍。傍晚，城內的敵人便打開了東城門，急急如喪家之犬，擁擠著向城外逃竄。
這時，我軍務部隊嘹亮的衝鋒號聲一齊響了起來，戰士們手提步槍，腰插手榴彈，好似猛虎下山，嗖嗖地躍出戰壕，按照預定的作戰方案，急速地向敵人出擊。敵人為了掩護整編12師的突圍，數十架飛機尖叫著從我軍陣地上空掠過，投彈、掃射，封鎖我軍追殲擊的去路。
我軍出擊敵人，需要涉過城東那條又寬又深的河。敵機封鎖了河道，機槍子彈像下雨一樣，落在水中。戰士們冒著彈雨，衝進齊腰深的河水，爭先恐後地向前衝。敵機的阻攔，絲毫沒有影響我軍的追擊速度，戰士們頂著敵人阻擊的炮火，大膽地向敵人插去。我55團和兄弟部隊，像兩把利劍，一把由城南，一把由城北向敵人飛來。兄弟部隊分兵一部向前攔住了敵人的去路，斬斷了蛇頭，另一部斷了蛇尾；55團對著蛇腰一陣痛打，一會兒工夫，打得敵人死的死，傷的傷，剩下的都嚇得趴在地上。
至此，我軍全殲兗州守敵2．8萬餘人，俘虜了敵師長霍守義。
在我山東兵團部署攻兗之際，估計敵人不會輕易放棄津浦路中段這一戰略要點。敵若要解兗州之圍，十之八九要由濟南分兵南下。為此，許世友命令9縱擔任打援。9縱選擇大汶口以南齊家莊、太平鎮一帶為戰場，為了防止被敵偵破意圖，後縮至泗水一線集結。
7月13日，敵161旅果然渡汶河南下，抵達齊家莊、太平鎮一帶，進入我軍預定的伏擊圈內。
傍晚前後，漸漸下起小雨。我9縱指戰員冒雨急行軍幾十公裏，連夜涉水渡過汶河北上，斷敵後路。
當夜，王耀武得知兗州為我軍攻克，急電吳化文部返濟。吳化文一反南下時那種拖拉遲緩的作風，率部扭頭疾速向濟南逃竄，9縱截得敵第161旅、155旅一個團和師部炮兵營，於7月15日將其全殲，繳獲野炮7門、山炮8門、滿載彈藥的汽車100餘輛。