反擊作戰於11月25日打響，第八師受命全力攻殲蔣軍第十九集團軍駐守官橋一帶的暫編第二師。官橋位於津浦路上，是臨城、滕縣間的交通聯絡點。第八師在王麗水師長兼政委指揮下，各團激戰至27日晨，攻克官橋、孟家倉，全殲蔣軍暫二師師長康樂三以下2000餘人。駐官橋、石磨莊兩車站的日軍300餘人被迫投降。12月1日，第八師用在官橋繳獲的山炮二門、機關炮一門，以解放戰士73人和各團調來的骨幹30多人，組建了炮兵連，這是第八師組建炮兵的開始。
第四旅部隊受命攻打韓莊。韓莊是日偽軍在津浦線上的重要據點，由日軍一個中隊和偽軍1500餘人駐守。第四旅在“打響進入山東的第一炮”口號鼓舞下，於11月26日晚發起攻擊。擔任主攻的第十團團長吳華奪指揮部隊用炸藥炸毀了韓莊以南的運河大鐵橋，截斷了敵人的逃路，同時使徐州蔣軍無法增援。接著，第十團在兄弟部隊協同下，向守敵發起攻擊。在軍事打擊和政治爭取下，日軍一個中隊100餘人全部繳械投降，偽軍大部當場被殲，少數向徐州方向逃跑，因鐵橋被炸，而紛紛墜於運河身亡。27日淩晨戰鬥結束，官莊、顏莊等據點亦被攻克。
第五、第九旅按預定作戰計劃，於11月25日向臨城外圍據點發起攻擊。第五旅連克臨城以東的東西曲柏、石格營等據點。第九旅連克臨城以北的狄家莊、小辛莊、韓家莊等處，俘日偽軍600餘人。隨後，第九旅在鳳凰山等地多次擊退臨城出援之敵，攻占興隆莊，殲敵百餘人。
12月13日，第九旅又對臨（誠）棗（莊）線上的陶莊煤礦發起攻擊。當戰鬥進行中，原西北軍馮玉祥的警衛營長，時為蔣軍暫編第三十六師師長的何誌斌，派參謀主任高來賓前來送信要求起義。第二縱隊副司令員韋國清接見了高來賓，允許何部起義。當日，何誌斌率1700餘人舉行反內戰起義，16日改編為山東民主建國軍第一師，何誌斌任師長。隨後，陳毅、張雲逸、黎玉、宋時輪等在滕縣東南的木石村接見了何誌斌，進行慰問與教育，並提出要求。可是何部一部分團長、營長對起義持反對態度，在起義8天後脅迫何誌斌及部隊逃離解放區。何誌斌在險惡的環境中，極力保護了新四軍派到該部的3位政工幹部的安全。何部逃回臨城後，備受國民黨當局歧視，當年冬季既不發棉衣、被服，又不發餉，結果士兵凍病數十人、凍死3人。何誌斌受此冷遇，更加想起新四軍和陳毅的關懷，於是暗地給陳毅送來一信，稱：西集9天，多蒙厚待，以後有機，力圖厚報。1948年9月，何誌斌、高來賓率國民黨軍第九十六軍獨立旅在濟南戰役中隨吳化文起義，其部隊改編為中國人民解放軍第三十五軍第一○五師，何誌斌任師長，高來賓任師參謀長。
新四軍第七師十九旅由淮南到達魯南後，立即參加臨城地區反擊作戰，攻克了臨城南的沙溝等據點，在該旅強大壓力下，日軍臨城鐵道隊1500餘人放下武器。
津浦前線部隊10餘天的激戰，掃清了臨城外圍，殲日、偽、頑軍8000餘人，破擊臨（城）滕（縣）、臨（城）棗（莊）、臨（城）徐（州）間三段鐵路。此時，在臨城（今薛城）的蔣軍第十九集團軍總司令陳大慶見勢不妙，令第九十七軍王毓文部退守臨城堅守待援。陳毅鑒於臨城工事堅固，決定放棄攻城改為圍困，加強政治攻勢。利用中共徐州工委提供的九十七軍連以上官佐名冊，直呼敵軍師長、團長、營長、連長的姓名，進行有針對性地喊話，瓦解其鬥誌，不少官兵主動投誠。經近一個月的圍困戰，九十七軍三個師傷亡與潰散人數，超過其總人數一半還多。
12月10日，中央軍委致電陳毅、張雲逸、饒漱石：“據各方情報，蔣頑將集中力量打通津浦路……對你們的戰略要求，是消滅北上頑軍主力，阻止頑軍北上。如不能完全阻止頑軍北上，亦須大量消滅頑軍。望你們本此要求，根據當前情況準備一切。”此時，饒漱石、張雲逸由臨沂來到津浦前線，同陳毅、黎玉會合。11日，他們學習了中央有關文件指示，分析了山東和華中的敵情，對山東、華中特別是津浦線的作戰作出部署，其中規定：第八師迅速攻取滕縣；第二縱隊、第七師對臨城監視並打援；並輪流整訓部隊；第一縱隊速開至津浦線，攻擊兗州、泰安，並讓山東第四師調赴膠濟線作戰；華中野戰軍和華中軍區部隊，應加強對津浦路南段和徐州以西、以東隴海路的破擊，以孤立徐州，打亂其部署。同時應抓緊攻取高郵、鹽城。上報後，12日中央軍委來電同意此部署。