羅炳輝率領第5支隊立即執行中央東進的方針，挺進(天)津浦(口鎮)路東的皖東地區。為了迅速打開局麵，羅炳輝命令支隊政治部主任方毅帶一個加強營先到路東偵察，摸清路東的情況，他特地將方毅找去，反複強調執行這次任務的重要性，並將他親身實踐的經驗告訴方毅，到敵後去應如何開展工作，同時決定讓方毅帶一部電台過去。
方毅率8團2營先行路東，活動在盱眙、來安、六合等地區。羅炳輝在聽取了前方偵察工作彙報後，於8月份率8團、15團和支隊司令部相繼越過敵人封鎖線。到10月份第10團也趕到以後，5支隊全部人馬勝利地到達路東。羅炳輝率5支隊以半塔為中心，8團3營在來安一帶，1、2營在天長、揚州附近，10團在盱(眙)嘉(山)地區，15團在竹鎮一帶，發動群眾，開展了廣泛的遊擊戰爭，經過兩個月的連續奮戰和艱苦細致的發動群眾工作，開辟了以半塔為中心的皖東津浦路東抗日根據地，部隊首次涉足於天長縣汊澗、張鋪、楊村、銅城一帶，初步打開了津浦路東的抗敵局麵。
1940年1月，羅炳輝指揮新四軍第5支隊與蘇皖支隊協同作戰，粉碎了日寇2000餘人對安徽天長、六合地區的“掃蕩”，殲敵百餘人，並攻克偽據點多處，很快打開了皖東局麵。新四軍的勝利，使廣大百姓群情激奮，進一步鞏固擴大了皖東抗日根據地。在粉碎日偽“掃蕩”的戰鬥中，尤以金牛山戰鬥最為著名，這是羅炳輝初試他創造的梅花樁點式戰術，打得日軍暈頭轉向，斃傷日偽軍五百多人。此仗大振了我新四軍抗日殺敵的威風，大滅了日軍蠻橫瘋狂的囂張氣焰，羅司令的威名從此傳開了。
安徽省天長縣淪陷之後，日軍燒殺搶掠，老百姓過著暗無天日的生活，時刻盼望能有個大救星來拯民於水深火熱之中。羅炳輝帶領隊伍打過來的消息很快傳遍了天長大地，有的老百姓說：“西山來了一支身穿灰色軍裝的抗日隊伍，專打鬼子漢奸，保護黎民百姓。”更有百姓說，曾親眼看見過這支隊伍的司令，是位非常神奇的人物：身高七尺，行軍需用兩匹馬輪換著騎；濃眉大眼，麵如紫銅，聲若洪鍾；打槍有百步穿楊的本領，槍打飛鳥，百發百中，十分驍勇；睡覺時二目圓睜，枕槍待旦，壞人要想接近他，百步之內，休想從他的槍口下逃脫。
其實，羅炳輝的神奇傳說緣於他帶領第5支隊在金牛山打了一場漂亮的伏擊戰。金牛山位於天長與六合之間，鬼子常來騷擾，每到秋收之際，敵人都要到這裏來搶糧，弄得十室九空，老百姓苦不堪言。這年，又到了秋收季節，為了不讓鬼子搶走糧食，羅炳輝命令部隊一麵發動群眾，實行空室清野，並且破壞道路橋梁，叫鬼子寸步難行，什麼也撈不到；一麵設置埋伏，準備狠狠打擊前來搶糧的鬼子。
這天，駐紮在天長縣城的鬼子出動了。眼見鬼子的大隊車輛人馬漸漸陷入了伏擊圈。羅炳輝一聲令下，戰士們向鬼子猛烈開火，他不顧警衛員們的勸阻，身先士卒，率部迅速占領了金牛山頂，以泰山壓頂之勢把敵人壓下山底。驟然而起的槍聲，把鬼子打得暈頭轉向，他們左衝右突，東逃西竄，無可奈何，就像被罩進了一張巨大的網，始終無法衝出伏擊圈，最終落入了伏擊圈的口袋底。一場白刃戰開始了，戰士們在羅炳輝的帶領下衝入敵人陣地，個個奮勇，人人爭先，殺得鬼子鬼哭狼嚎，屍橫遍野。經過這次打擊，逃回縣城的鬼子再也不敢輕易出城了。
金牛山戰鬥是在羅炳輝的親自指揮下取得的勝利，這一仗殺得日本鬼子人仰馬翻，殺出了軍威、國威，該仗共斃傷日偽軍500餘人，是一個大勝仗。這一仗大大振奮了新四軍的士氣，提高了共產黨和新四軍在江北抗日的威望與政治影響，受到淮南抗日根據地人民的熱烈讚揚，新四軍的文藝戰士還專門排演了慶祝金牛山大捷的歌舞劇。當時還流行著一首歌曲，叫《金牛山大勝利》。歌詞大意是：“新四軍，真正強!抗戰建國的好榜樣！金牛山上，又打了大勝仗！布下了天羅和地網，打得鬼子、漢奸沒處藏，東逃西竄撞上了‘梅花樁’。殺傷他四五百，活捉他幾十雙，勝利品也挑他幾十筐。揚州的鬼子淚汪汪!汪精衛也著了慌！”
不久，鬼子放棄了天長縣，龜縮到儀征至揚州一線去了。老百姓重見了天日。群眾為此編了一首歌謠：“金牛山上大勝仗，打得敵人心膽寒，撥開雲霧青天見，人民得過太平年。”金牛山戰鬥結束後，當地百姓稱羅炳輝率領的這支隊伍為“神兵”。後來，在老區的人民中廣泛流傳著這樣一個故事：有一位天神，看見日本鬼子殘害老百姓，便下凡來，指揮他的神兵，驅除了鬼子，解放了老百姓。羅炳輝就是這位天神，他是天上的“羅漢下凡”。群眾用“我們的福星”來稱譽羅炳輝司令員。
因為羅炳輝能夠嫻熟地應用遊擊戰術，使日偽軍都“談羅色變”，十分害怕，輕易不敢跟他交手。有一次，羅炳輝隻帶了少量部隊到一個新區開展工作，正在召開群眾大會時，敵人悄悄地摸上來了，敵人聽說羅炳輝在這裏開群眾會，深怕中計，不敢貿然進攻。正在敵人舉棋不定的時候，羅炳輝應群眾的要求打鳥，恰好有一隻老鷹從天空盤旋飛過，羅炳輝一槍擊落。敵人以為是什麼信號，怕被圍殲，倉皇退走。
羅炳輝於金牛山，用“梅花樁”戰術，打了一個漂亮勝仗，一舉殲滅日偽軍500餘人，繳獲了大量的軍用物資戰利品。此時，淮南行政公署召開淮南地區財政經濟工作擴大會議，與會代表200多人。正好羅炳輝從前線勝利歸來，主持財經擴大會議的行署主任方毅邀請羅炳輝向大會作報告，受到與會代表的熱烈歡迎。這是大家期待很久的願望，因為當時大多數代表早已聽說過羅司令的威名，就是沒有機會親眼看見過他。
當羅炳輝出現在大會場上時，大家以雷鳴般的掌聲，熱烈地歡迎他。他高大魁梧，滿麵笑容，慈祥和藹，向大家問好。他首先向大家提出一個問題：“抗日戰爭，對敵作戰中什麼武器最厲害?”當時大家紛紛搶著回答。有的說：“機關槍一梭子子彈幾十發，一打一大片，是最厲害的了!”有的說：“迫擊炮一發炮彈就能炸坍一座碉堡炮樓，也夠厲害的。”有的說坦克厲害，有的說飛機丟炸彈、機槍掃射也很厲害。可惜當時新四軍還沒有這些武器。
最後羅炳輝把大家的意見都一一否定了。他說：“你們說的這些武器，都有一定的殺傷力；但還不算最厲害的。”這樣一說，大家都聽呆了，究竟什麼武器，才是最厲害的呢?大家都等著他的回答。他說：“我看最厲害的武器，就是沒有飯吃了餓著肚皮，渾身無力，什麼武器也開動不了，變成一堆廢銅爛鐵，還有什麼用呢?”他的這些話，說明了財經工作的重要性，使到會代表受到了啟發與鼓舞，感到做財經工作很自豪，打消了不安心財經工作的思想，安定了工作情緒。
接著他又簡單扼要地介紹了金牛山大捷的情況，指出這個勝利的漂亮仗，也有大家的功勞。大家都高興得不得了，熱烈地歡呼和鼓掌。
羅炳輝率第5支隊在路東八縣相繼建立了人民政權，各群眾團體、工、農、青、婦、民兵和商會也隨之建立起來了，實行抗日十大綱領，宣傳發動、組織群眾，武裝群眾，號召群眾發展生產，改善和提高人民生活，實行減租減息等一係列政策，群眾擁護共產黨、新四軍，抗日情緒空前高漲。
1940年春，國民黨頑固派安徽省主席李品仙與江蘇省主席韓德勤聯合向我淮南根據地實行東西夾擊，企圖消滅或趕走新四軍江北指揮部及第4、5支隊。根據中原局和江北指揮部關於集中主力於津浦路西，首先反擊對我威脅最大的桂頑軍後，再揮戈向東擊破頑韓的指示，羅炳輝即率領5支隊主動開赴路西，增援第4支隊反擊桂頑進攻，隻留下少數部隊堅守路東，其中駐守半塔的支隊機關、教導大隊的兵力，還不到2500人。此時，駐守在蘇北的頑軍韓德勤部乘新四軍路東空虛之際，集中117師等部萬餘人，對第5支隊指揮機關所在地半塔集發起進攻，第5支隊留守部隊奮起反擊，舉行半塔保衛戰，這是5支隊挺進路東後與國民黨頑固派第一次較大的戰鬥。
3月21日拂曉，頑軍向5支隊指揮機關發起攻擊，此時，羅炳輝正在路西率部增援第4支隊的反桂進攻，他命令留守部隊迅速組織起來，堅決頂住頑軍的進攻。雖然羅炳輝未親臨指揮戰鬥，但由於5支隊自挺進路東後，在他的親自領導和深入群眾的工作中取得了廣大群眾的信任、支持和擁護，爭取了中間人士的同情，所以在戰鬥中得到了人民的廣泛積極的支持，運送糧食，傳遞情報，搶修工事，送飯送水，護理傷員，特別是半塔地區的農民自衛隊積極參戰，起了重要作用，這是與羅炳輝平時卓有成效的群眾工作分不開的。
第5支隊留守人員在勢單力薄的情況下，以不到2500人的兵力固守半塔7天7夜，在外圍部隊積極支援配合下，擊退了韓頑117師兩個團多次的猛烈攻擊，創造了以少勝多、以弱勝強的範例，為固守待援贏得了寶貴時間。
3月29日路西定遠縣占雞崗反擊桂頑的戰鬥勝利後，羅炳輝率主力兼程東返，開始向韓頑發起全麵反攻。此時，向路東新四軍發起猛烈進攻的韓頑部隊共有10個團約1萬餘人，韓德勤頑軍感覺羅炳輝率部反攻來勢凶猛，同時發現新四軍的葉飛挺進縱隊、陶勇等率領的蘇皖支隊配合羅炳輝的第5支隊主力進行全麵的反擊，知道大事不妙，於是全線動搖，倉皇遁逃。在蓮塘與崗村一線，羅炳輝率部與掩護韓德勤主力部隊逃跑的常備第10旅展開激戰，迅速將其擊潰。羅炳輝乘勝率軍追擊，沿途土頑全被消滅，敵頑政權一掃而光，一直把韓德勤的頑軍主力驅至三河以北。
半塔保衛戰的勝利，對新四軍在淮南地區取得反頑作戰的全勝和創建淮南根據地起到了關鍵作用。半塔保衛戰的勝利，使路東、路西迅速建立了人民政權，開辟和鞏固了淮南根據地，淮南根據地建在國統區的心髒部位，因此，羅炳輝受到毛澤東和劉少奇的高度評價和充分肯定。陳毅也給予半塔保衛戰很高評價，他說：“半塔守備戰是固守待援的範例。在華中，先有半塔，後有郭村，有了半塔就有了黃橋。”半塔保衛戰以後，淮南根據地完全按照中國共產黨的抗日要求建立起自己的政權，為華中各根據地的建立起著先導作用。
1940年4月5日，羅炳輝在取得半塔保衛戰勝利以後，抵達天長縣大通鎮，將支隊司令部設在大通後，羅炳輝率部分部隊及民運工作隊繼續向東挺進。皖東敵後抗日民主根據地的建立，引起日偽頑的震驚和恐懼，當地的國民黨政權與一些地方豪紳互相利用，狼狽勾結，對我根據地“掃蕩”襲擾，企圖扼殺新生的敵後根據地。根據上級指示，羅炳輝於4月8月拂曉，率部抵達國民黨天長縣政府所在地銅城鎮。
由於羅炳輝在粉碎日偽軍“掃蕩”和收複來安城的戰鬥中威名遠揚，淮南的群眾中到處流傳著“羅司令三打來安城”的故事，國民黨天長縣縣長李炳琦得知羅炳輝率軍抵達，聞風喪膽，早已逃匿。但由於國民黨的欺騙宣傳，地方一些士紳、商人對新四軍存有戒心，擔心被“平分財產”。昔日車水馬龍的銅城鎮，忽然變得冷冷清清，街上沒有幾家店鋪開門營業。為解除群眾的疑慮，羅炳輝率部隊進城後，一麵吩咐民運工作隊的同誌上街宣傳，解釋我黨的方針政策；一麵找來這裏的商會會長，擬定各大商戶及當地有名望的士紳名單，書就朱紅請柬，派通訊員逐一送至各戶，邀請他們前來參加羅司令員的宴會。
正午時分，羅炳輝一身普通戰士的粗布灰軍裝，腳穿草鞋，專候在銅城普濟寺橋畔的原“玉流居”茶酒社門前，與來者一一握手。羅炳輝把客人們讓進“玉流居”，席間，他談笑風生，舉杯向大家敬酒。賓主交歡，宴席沉浸在一片和諧誠摯的氣氛之中。席罷，大家都隨羅炳輝來到劉氏宗祠，羅則侃侃談起我黨我軍的宗旨和統一戰線政策。羅炳輝針對士紳、商人們的疑慮，開門見山地說：“共產黨領導的新四軍，浴血奮戰建立抗日民主根據地，堅持敵後抗戰，是為了幫助人民，保衛家鄉，實行民主政策，諸位都是通情達理，耳目聰靈的人士，我軍所作所為，有目共睹，請諸位不要聽信頑固派的謠言。抗日救國，匹夫有責，在這民族危亡之際，我黨我軍的一貫政策是團結一切可以團結的力量，一致抗日。我們就要建立‘三三’製民主政權，組織各種群眾團體，歡迎諸位參加我們的工作！”羅炳輝的一番話，直說得大家頻頻點頭，疑慮也就此全都消釋了。
國民黨蔣介石掀起第二次反共高潮，1941年1月發生了震驚中外的皖南事變。為對付時局的突然變化，中共中央任命陳毅代理新四軍軍長，劉少奇任政治委員，重新組織軍部，整編部隊，全軍擴編為7個正規師，1個獨立旅，繼續堅持抗戰。
羅炳輝堅決擁護中央決定，新四軍經過整編，部隊更加堅強，走上了發展的新階段。新四軍2師部隊由江北指揮部所屬部隊組成，師長由新四軍副軍長張雲逸兼任，羅炳輝任副師長。第2師下轄4旅(原第4支隊)、5旅(原第5支隊)、6旅(原江北遊擊縱隊)和津浦路東、津浦路西兩個聯防司令部。根據中原局和新四軍軍部召開的高級幹部會議決議，2師的任務是鞏固津浦路東，堅持津浦路西，加強對西防禦，隨時準備迎擊日偽軍的進攻。為對付日軍的“掃蕩”，部隊實行了主力、地方武裝和民兵三結合。1941年3月起的一年多時間裏，羅炳輝與師長張雲逸一道，多次粉碎了敵人的“掃蕩”，完全控製了淮南抗日根據地。
1943年1月，張雲逸回新四軍軍部工作，羅炳輝升任師長。1943年2月，根據中央關於認真進行精兵簡政和實行黨政軍一元化領導的指示，成立了淮南軍區，下轄路東、路西兩個軍區，羅炳輝任2師師長兼淮南軍區司令員。
1945年1月，抱病的羅炳輝被中共華中局指定為淮南軍區黨委代理書記。日本華中派遣軍總司令岡村寧茨組織日偽軍1萬多兵力向津浦路西大舉進攻，同時向路東大“掃蕩”，羅炳輝在敵強我弱的情況下，巧妙與敵周旋，大量殲敵，粉碎了岡村寧茨的“掃蕩”計劃。至1945年8月，淮南抗日根據地所轄18個縣級政權麵積達4000餘平方公裏，擁有人口350餘萬。
在與日偽頑三角鬥爭的複雜環境中，羅炳輝根據實戰需要，總結出一套行之有效的戰術：對日軍作戰，采用麻雀戰、梅花樁點式糾纏戰，這是羅炳輝對毛澤東遊擊戰術的具體應用，在粉碎日偽軍的“掃蕩”中大有成效。他倡導的“三五成組”的麻雀戰的戰術就是他長期實踐經驗的升華。對待頑固派的進犯，則以近戰、夜戰、大刀見紅來取勝。當時裝備精良的桂係頑軍在國民黨各係軍閥中是有點戰鬥力的，他們氣焰囂張，認為新四軍不敢與其對壘。但幾經交戰都敗在新四軍英勇戰士的手下，不僅沒有奪得我軍路西根據地一寸土地，反被打得拋盔棄甲，狼狽而逃。
1945年8月8日蘇聯政府宣布對日作戰，中國的抗日戰爭進入最後階段，最後戰勝日本侵略者及其走狗的時刻已經到來。
為最後打敗日本帝國主義，從8月9日開始，八路軍、新四軍、華南遊擊隊和東北抗日聯軍分別在華北、華中、華南和東北對日偽軍盤踞的城市與交通要道發起大規模進攻。8月13日羅炳輝率新四軍第2師連夜趕到六合前線，經激戰全殲六合日偽軍1000餘人，並攻克六合縣城。8月15日一個回馬槍一晚急行軍140華裏，解放了來安縣城。羅炳輝率領的部隊每到一處新解放區，都會受到人民群眾鑼鼓喧天、鞭炮齊鳴的熱烈歡迎。解放來安城後，緊接著部隊向西展開解放了水口鎮，馬不停蹄備好雲梯準備進攻烏衣鎮，逼近南京。
1945年9月下旬，新四軍第2師4、5旅和4師9旅合並組成第2縱隊，羅炳輝任司令員，韋國清任副司令員。10月中旬第2縱隊到達淮北宿遷縣，羅炳輝傳達了中共中央和中央軍委決定2縱進入山東解放區魯南山區的指示。10月底，羅炳輝率部抵達山東滕縣東北的龍陽集結，這是新四軍首批入魯部隊。這時，蔣介石調集的7個軍和收編的偽軍兩個軍分別搶占了濟南、泰安、兗州、臨城等城鎮，妄圖完全控製津浦線，再向天津和東北推進。其中，由偽軍第三方麵軍改編的國民黨第5路軍吳化文部由徐州進至山東滕縣。
1945年10月，新四軍兼山東軍區，為了掩護我解放軍在東北勝利地完成戰略展開，奉命控製津浦線，阻擊敵軍進犯，山東軍區第8師、第2縱隊的第5、第9旅奉命在滕縣界河地區伏擊。
羅炳輝指揮2縱和山東軍區8師，埋伏在津浦線界河車站至兩下店車站之間鐵路兩側，時間長達3天3夜，最近處距鐵路幾十米，敵人毫無察覺。11月3日國民黨軍吳化文部5000餘人由界河車站北竄，待敵進入伏擊圈後，羅炳輝一聲令下，英勇的勇士們如猛虎下山，撲向敵陣，僅20分鍾就全殲了敵人5000餘人，繳獲大量武器彈藥，打了一場非常幹淨利落的殲滅戰。界河戰役是羅炳輝在陳毅統一指揮下周密部署的結果，也是羅炳輝指揮第津浦前線2縱隊由淮南到達山東後的第一個大勝仗。戰役結束後，陳毅特別稱讚羅炳輝是一個“天才的伏擊戰指揮員”。
打下界河，津浦鐵路中段南到滕縣、北至兗州10多公裏地域被我軍控製，蔣介石沿津浦路運兵北上的計劃破產了。
毛澤東接到陳毅關於界河戰役勝利的報告，即以中共中央名義發電報向津浦前線指揮部表示祝賀，同時要求：“為準備戰勝敵人必然要來的大舉進攻，除集中與整訓部隊外，必須創造更廣闊的戰場，向南北擴展鐵路線的占領區，拔除臨、滕、鄒、兗地區的據點。”
根據津浦前線野戰軍指揮部命令，羅炳輝指揮第2縱隊會同新四軍第7師第19旅及山東第8等部，於12月上旬全殲臨城、滕縣守敵陳大慶部1萬餘人。2縱在津浦線兩側龍騰虎躍，大踏步的前進大踏步的後退，神出鬼沒，機動自如。新四軍北撤部隊會同山東的留守部隊勝利地完成了保衛山東解放區，守住了華北東大門，掩護了八路軍、新四軍11萬人在東北戰略展開的偉大任務。
在多年的戎馬生涯中，羅炳輝積勞成疾。在組織的關懷和督促下，1946年初，羅炳輝到臨沂新四軍軍部醫院治療。在養病期間，羅炳輝給毛澤東、朱德等寫信，感謝他們對自己的關懷，問候中央領導同誌。信是托張雲逸轉交的。毛澤東在複信中說：“炳輝同誌，來信收到，極為感謝。你身體有病，望多休養。留得青山，是很要緊的。我身體好些了，勿以為念。”朱德和康克清在回信中說：“炳輝同誌，八年抗戰，你為人民又建了許多功勳。我們常常盼望著你們前方的勝利消息和你的健康。雲逸、黎玉兩同誌來此後，更知前方戰事及工作情況和你的健康。我們更深刻了解你們山東及蘇北根據地是永遠鞏固的……”