在臨沂，陳毅同羅榮桓交流了情況，進行工作交接；特別是聽取了羅榮桓關於山東形勢、周圍敵情、部隊軍政素質和幹部情況等介紹，共同討論了山東和華中戰略區合並後的幹部配備、黨政軍工作重點以及阻擊蔣軍沿津浦路北進的方案。10月20日，中共中央任命陳毅兼山東軍區司令員。
華中局機關和新四軍軍部於1945年10月底移至臨沂後，采取對口合並辦法，華中局機關與山東分局留下的一部分單位合並為華東局機關，新四軍軍部與山東軍區機關留下的一部分單位合並為新四軍兼山東軍區機關。
11月13日，中共中央任命饒漱石為華東局書記兼山東軍區政治委員。12月18日，中共中央批準華東局人員組成，以饒漱石、陳毅、黎玉、張雲逸、舒同為常委（後增加郭子化、李林），饒漱石為書記，陳毅、黎玉為副書記。12月26日，中共中央批準了新四軍兼山東軍區其他領導人的配備：新四軍副軍長張雲逸兼山東軍區副司令員，山東軍區副政治委員黎玉兼新四軍副政治委員，陳士榘任新四軍兼山東軍區參謀長、袁中賢任副參謀長，舒同任新四軍兼山東軍區政治部主任、唐亮任副主任。1946年1月，中央軍委任命宋裕和為新四軍兼山東軍區後勤部長、彭顯倫任副部長。
當華中局和新四軍軍部北移山東後，根據中共中央的決定，於1945年10月下旬，在淮陰另設華中分局、華中軍區。華中分局以鄧子恢、張鼎丞、譚震林、粟裕、曾山、劉曉為常委，鄧子恢為書記，譚震林為副書記。華中軍區司令員張鼎丞，政治委員鄧子恢，副司令員粟裕、張愛萍，副政治委員譚震林，參謀長劉先勝、副參謀長張元壽，政治部主任譚震林兼、副主任鍾期光，供給部部長駱耕漠、副部長郭全林、白辛夫、黃誌遠。
1945年10月12日，中共中央軍委致電陳毅、羅榮桓、黎玉並張雲逸、饒漱石，指出：山東與華中部隊為迅速截斷津浦路，消滅北上頑軍一部或大部，“必須立即組織一個強大的突擊力量，布置於徐州以北、濟南以南之適當位置，控製鐵路一段，創造戰場，以便打擊北上頑軍”；要求山東方麵“應將魯中、魯南、濱海及湖西、泰西主力集中，再加新四軍北上兩個旅，組織一強大野戰軍，由陳、羅、黎親自去指揮（或羅、黎二人中分一人處理後方工作），擔負此任務”。
遵照此指示，津浦前線野戰軍於10月15日組成，陳毅、黎玉率指揮部於當日由臨沂趕赴魯南，統一指揮入魯的新四軍部隊和山東軍區第八師等部，在津浦路中段作戰。1946年1月7日，津浦前線野戰軍改稱山東野戰軍，陳毅兼司令員，黎玉任政治委員。下轄第一、第二縱隊和第七、第八師，共7萬餘兵力。
一、破擊鐵路
1945年10月18日，中央軍委指示陳、黎：“破路、破車、翻車、襲擊、阻擊，遲滯頑軍前進，在有利時機集中力量，殲滅其一部至大部，這種交通戰將是長期的，至少準備半年。在交通線上糾纏頑軍愈久，削弱消滅頑軍愈多，就可推遲以至破壞頑軍大舉向解放區進攻，這將便利解放區擴大與鞏固，也就是促進國內和平的重大因素。”19日，中共中央又電示：“陳、黎組織津浦路戰役，是一件關係全麵的大事。望陳、黎精心計劃，在徐州、濟南間適當地區占領鐵路一段，並向南北擴大占領區，然後選擇蔣軍一兩個師，打一個開始的好勝仗。”
此時，新四軍首批入魯部隊尚未趕到，陳、黎便指揮山東第四、第八師和已確定赴東北但尚未開拔的第三師，於10月18日開始行動，至20日，第三、第四師占領了大汶口，控製鐵路10餘公裏，並向南擴張攻勢；第八師用連續爆破攻下鄒縣城、鄒縣車站和十裏鋪、下看鋪等據點的日軍在威懾之下放下武器。戰鬥共殲日軍400餘人、頑偽軍2400餘人，對鄒縣南北數十裏的鐵路進行了破擊。
在津浦路南段，新四軍淮北、淮南軍區部隊，也於10月展開了破擊戰。淮北軍區部隊在張愛萍指揮下，對徐州至蚌埠段沿線的日、偽、頑軍展開猛攻，打下曹村、夾溝、四堡、符離集等9個車站，破擊鐵路120餘裏。淮南軍區部隊在肖望東指揮下，對浦口至滁縣段展開破擊，搬走枕木、鐵軌，炸毀鐵路，攻克擔子集、烏衣等車站。
在濟南以北，渤海軍區部隊破擊了濟南至德州段鐵路，使已進至濟南，急於沿津浦路趕赴東北的頑軍第十二軍（原為東北軍）霍守義部無法北進。膠東軍區部隊破擊了膠濟鐵路東段，對沿鐵路西犯的蔣軍實施反擊，殲敵800餘人。