遺憾的是，拿著毛澤東、朱德給羅炳輝複信的張雲逸等由於局勢惡化、交通限製，回到臨沂時羅炳輝已去世了，羅炳沒有能夠讀到毛澤東、朱德的回信。
1946年4月，中央軍委任命羅炳輝為新四軍第二副軍長兼山東軍區副司令員，由於前線形勢緊張，羅炳輝不顧自己的病尚未痊愈，便赴前線與陳毅軍長共同研究對敵策略，以求盡早拔除國民黨軍在棗莊的據點。長期艱苦的革命鬥爭使羅炳輝的健康狀況日下，曾在指揮作戰中幾次昏倒。1946年6月9日，羅炳輝帶病指揮棗莊戰鬥，我軍向盤踞棗莊的敵軍發起進攻，攻打棗莊王繼美部，殲敵3300人，斃王繼美，俘國民黨第19集團軍臨棗地區指揮官王綱以下1400餘人，解放了棗莊。
6月中旬，陳毅、羅炳輝在嶧縣前召開緊急會議，會議中，羅炳輝病發，經陳毅多次勸說，21日方乘車去臨沂治療。車上突發腦溢血，幾次休克，下午5時，車到蘭陵，經搶救無效，不幸逝世，時年49歲。棗莊戰役由此成為這位將軍32年軍旅生涯的最後一仗。出征前羅炳輝還說：“我受黨長期的培養和愛護，這次重上前線為黨為人民捐軀，也是完全值得的……我畢生沒有打過敗仗，在我犧牲前，我還要再打一次勝戰，作為我對黨的最後一次獻禮。”將軍用自己的生命，實現了他對黨的最後誓言。他用畢生的努力，直至生命的最後一息，為中國革命和中華民族的解放效命疆場，馬革裹屍，實踐了生前的誓言。
羅炳輝逝世後，中共中央和四川省委紛紛發來唁電，6月23日，在臨沂舉行葬禮，臨沂下半旗誌哀，10萬軍民送葬，行列長達數裏。劉少奇、周恩來、朱德分別為羅炳輝墓碑題“誌在革命，功在人民”、“人民功臣羅炳輝同誌不朽”，“革命到底，死而後已；精神不死，萬古長存”。
羅炳輝生前曾多次講過：“人生最快慰的是真正勇敢地犧牲個人一切利益，最熱忱努力地為民族獨立、自由解放而鬥爭，尤其是要為勞動大眾的解放和利益，以真理、正義、公道為人類的幸福而鬥爭。”他是這樣說的，也是這樣做的。為紀念羅炳輝，1950年，臨沂修建了烈士陵園，羅炳輝的遺體遷葬於陵園內。蘇皖邊區政府曾將安徽省天長縣改名為炳輝縣(1959複用原名)，在安徽合肥市、雲南昭通市都建有羅炳輝銅像。在羅炳輝誕辰100周年前夕，時任國家主席和中央軍委主席的江澤民為羅炳輝題詞“人民功臣羅炳輝將軍”。
1946年6月22日，羅炳輝遺體裝棺。陳毅在入殮儀式上致詞說：“我們與羅炳輝同誌多年一塊作戰，現在隻能瞻仰遺容了! 這是我們最大的悲痛”，“特別是在國民黨反動派積極發動大規模內戰的緊急局勢之下，我們更加沉痛。但我們應在最悲痛時也不消極，將教育我們對法西斯反動派更加仇恨! ”在曆述羅炳輝對人民革命的貢獻後，陳毅指出：“你的死是一個號召，號召山東全體軍民起來繼承遺誌，實行嚴正自衛! ”陳毅向羅炳輝英靈宣誓：“你未竟的事業，我們一定去完成! ”
羅炳輝葬禮後第二天，陳毅懷著對戰友的深厚感情，寫下了《悼羅炳輝將軍》的長詩，記述了他們之間的深厚情誼和羅炳輝的卓越功勳。陳毅在詩中寫道：“戎馬三十載，將軍滇之雄。反袁到北伐，起義贛江紅。抗日君邁進，飲馬江南北。蘇魯馳勁旅，日偽告潰滅。六載苦糾纏，疾病多磨折。革命不自惜，一朝痛永訣。三軍皆雨泣，臨穴瞻遺容。立誓有五字，奮鬥與君同。”高度概括了羅炳輝奮鬥的一生。
羅炳輝與陳毅共事多年，十分尊重和信任陳毅，他曾經動情地說：“老陳這個人自我批評的精神特別好”。有一次，因一件事陳毅與羅炳輝發生了誤會。事後，陳毅主動找到羅炳輝賠禮，並且說：“這次把問題搞錯了，使你受了委屈，希望你不要計較。”羅炳輝說，陳毅這種襟懷坦白，寬宏大量，勇於自我批評的精神使我深受感動。當陳毅一段時間被排擠走後，羅炳輝非常生氣，他說：“陳毅同誌公正無私，光明正大，為什麼受排擠，使人氣憤!陳毅同誌是我們的代軍長，我是很尊重他的。”陳毅對羅炳輝也十分信任和友好，每到新四軍軍部開會，兩人常在一起，談得十分投機。因此，陳毅悼念羅炳輝的長詩，字裏行間傾注了對老戰友無限深厚的革命情誼。
羅炳輝作戰勇敢，身先士卒，是一個在戰場上從不彎腰的人，因此博得了廣大戰士的衷心擁護和愛戴。戰鬥中，戰士們隻要見他那魁梧的身影出現在硝煙彌漫的陣地，力量就倍增，哪怕是再難打的仗，也能取得勝利。
羅炳輝在新四軍治軍嚴厲是出了名的。當時，新四軍的武器差，彈藥少。麵對武裝到牙齒的日軍和裝備精良的頑軍，要在日偽頻繁“掃蕩”和頑固派的進犯夾擊中鞏固發展根據地，沒有良好的作戰素質是不行的。羅炳輝十分重視部隊的軍事訓練。第5支隊成立後，首先在部隊中開展了射擊、劈刀、跨越障礙物三大軍事訓練，在他的言傳身教的嚴格訓練之下，部隊戰鬥力很快得到了提高。
關於羅炳輝治軍之嚴、練兵之嚴，幾乎每一位熟悉他的人都能說出一大串故事來。在練兵方麵，刀劈銅板的故事已經流傳得很廣泛，這也是當時戰爭環境的產物，因為日本侵略軍裝備比新四軍精良，槍上裝有刺刀。羅炳輝就命令給每個戰士配備一把大刀，做刀的材料有的是取自破壞敵偽鐵路交通線時扒回來的鋼軌，鋼火很硬，打出刀來刀口鋒利，寒光閃閃。除了每人有一把大砍刀外，每個班還配備了一把關雲長式的大刀，連刀帶把子長度近兩米，以備在特殊情況下使用。新四軍2師12團的4連，戰士身材高大，每人一槍一刀，刀把子上紮著紅紅綠綠的須子，整齊劃一，軍威十分雄壯。在許多次戰鬥中，2師的大刀都殺出了威風，使日偽頑膽戰心寒。
羅炳輝提了練兵中的“三大障礙”、“五大技術”，是根據淮南根據地敵我力量對比和有山地、有丘陵、有平原，也有河網地帶的特殊地理環境而設計出來的。他練兵講究實用，所以訓練出來的部隊能打硬仗。羅炳輝常對戰士們說：“訓練就是要平時多流汗，戰時少流血。如果我們平時不認真加強訓練，適應各種戰鬥的需要，我們就會在日偽頻繁的‘掃蕩’和頑軍的夾擊中被消滅掉。”有一次部隊在事演習中，羅炳輝命令號兵發出發現敵情的信號，他和其他指揮員都立即跳下馬來，隻有一個營長認為這是演習，仍然大模大樣地騎在馬上。這一下羅炳輝可火了，他將這個營長叫到戰士們麵前，狠狠地批評道：“你這個營長怎麼當的?已經發出了準備戰鬥的號令，你還若無其事地騎在馬上，一點敵情觀念都沒有。營長都這樣，戰士們會如何呢?”
在一次跨越障礙的訓練中，一個年輕戰士過獨木橋，走了一半掉到河裏。這個戰士並不就此遊過對岸去，而是重新爬上岸第二次通過了獨木橋，羅炳輝見了十分高興，當即給予表揚。
“學兵連”是羅炳輝組織軍事訓練的一個創造。新四軍2師學兵連共有100多人，都是從野戰部隊挑選出來的。隻有政治立場堅定、作戰勇猛頑強、戰鬥技術好、大腦反應快的戰鬥骨幹，才有資格入選。學兵連時刻都在羅炳輝身邊，行軍打仗都帶著，它既是戰術技術示範隊，又是基層骨幹訓練隊，還是羅炳輝研究作戰的技術技巧的試驗田。
羅炳輝將學兵連辦成全師的軍事標杆，比如在部隊中開展練劈刀，羅炳輝就首先抓學兵連，整個套路40多個動作，要劈得快，劈得準，劈得有力，劈得呼呼帶風，最後才練劈銅板，必須是一刀準，就那麼一點點大嘛，偏一點就劈飛了!然後，羅炳輝才在全師軍事訓練中把學兵連帶出去搞比武，搞競賽，搞技術表演，搞‘四兩撥千斤’的戰術比賽，在全師掀起練兵熱潮。
同時，羅炳輝還把學兵連辦成了新四軍2師的一所軍事學校，辦成了根據自己切身經驗創造出的將實戰與理論密切結合、在實際戰爭中培養幹部的學校。全師的軍事訓練都是羅炳輝親手抓的，效果十分顯著。學兵連的戰士可以勝任部隊的班長，班長可以勝任排長，排長可以勝任連長，軍政素質非常好。平時，羅炳輝對學兵連又嚴又愛，有一次，軍情緊急，有人建議派學兵連上去打，羅炳輝說：‘不行，犧牲了一個戰士就是一個班，犧牲了一個班就是一個排啊!’學兵連戰鬥力很強，戰鬥作風淩厲潑辣，一般戰鬥三下五除二就幹淨利落地解決掉了，戰士們都以能進學兵連而自豪。
在緊張的戰鬥生活中，羅炳輝穿著同戰士一樣的服裝，過著同戰士一樣的生活。戰士拿1元津貼，他也不例外。他一生沒有什麼積蓄，留給自己兒女的“財產”隻有在戰場上繳獲敵人的刀和槍。而他對待戰士，則完全稱得上愛如子女。天氣尚未轉寒，他就早早關照供給部的同誌盡早為戰士準備冬衣。對傷病員更是關懷備至，他常囑咐炊事班的同誌：“傷病員為革命負傷，你們應該很好照顧他們的生活，傷病員同誌應該比我們吃得好才行。”
在一次邊行軍、邊演習的途中，一個戰士動作粗猛，從山坡上跳下來，把腳扭傷了，當時紅腫起來，不能走路了，羅炳逃就把自己的坐騎給這個戰士騎上，直到目的地。晚上休息到下半夜，羅炳輝還不放心，又起來親自查哨問情況，在查鋪時給這個戰士蓋好被子。
有一次，羅炳輝與戰士們一起在河裏洗澡，見戰士穿的襯衣已很破爛，立即將供給部的同誌找來，要給戰士們換上新襯衣。而他自己穿的卻是補了又補，從不提起換一件。任第5支隊司令員的羅炳輝剛剛到路東時，寒冷的冬天仍穿一件舊棉衣，下麵的戰士為此十分擔心他的健康，於是，政治部主任方毅特地給他做了一件大衣，他不肯要。方毅解釋說：“你是司令員，如果把身體凍壞了，如何指揮部隊呢？”聽方毅的勸告，羅炳輝才勉強收下。
羅炳輝不但是一位優秀的戰場指揮員，還是一位善於做宣傳鼓動工作的軍隊政治工作者。1946年3月，任第2師師長的羅炳輝，奉命率部迎擊進攻蘇魯皖邊區的國民黨軍，從皖東天長縣轉戰蘇北，過境宿遷，向山東挺進。羅炳輝率部抵達宿遷時，宿城男女老少，從七、八歲的幼童，至耋耄之年的白發老人，個個手摯彩旗，敲鑼打鼓，來到南圩門外，排列於公路兩旁，歡迎羅炳輝率領的隊伍。
羅炳輝率領威武之師，走在隊伍的最前麵，他身材魁梧，英姿颯爽，不時地向歡迎的群眾揮手致意。在他的身後，是騎兵、炮兵、步兵和後勤部隊，四路縱隊行進。戰士們個個身強力壯，精神抖擻，在群眾歡迎的口號聲中；浩浩蕩蕩地進入宿城。
羅炳輝得知，宿城長期處於敵偽的統治下，由於受到反宣傳的影響，人民對共產黨和所領導的八路軍新四軍缺乏正確的認識，特別是有些士紳富戶懷有疑慮、恐懼的情緒。為了團結人民，粉碎國民黨發動的反人民的內戰，羅炳輝忙裏抽閑訪問地方士紳富戶和各界開明人士，了解他們的思想動態，積極做好他們的工作，向他們宣講國內形勢，即國民黨為了搶奪抗戰勝利果實，瘋狂地發動了反人民的內戰，以及我黨為了保衛勝利果實，保護人民利益與之針鋒相對，開展鬥爭的情況．並列舉大量事實精辟地分析了蔣軍必敗，我軍必勝的道理。
羅炳輝卓有成效和宣傳，消除了反動派對共產黨軍隊的汙蔑誹謗在群眾中所造成的不良影響，解決了一些人對共產黨政策的誤解和疑慮。有的人當場表態，堅決擁護共產黨的領導，做遵紀守法的好公民，並且慷慨解囊，獻糧獻錢，支援前線，為打垮蔣介石，奪取戰爭的勝利作出貢獻。
到達宿城的第三天，羅炳輝應淮北中學校長的邀請，到該校給學生作報告。羅炳輝在報告中說：國共兩黨之間的鬥爭，從武器上說國民黨是占優勢，有美式裝備；我們的八路軍和新四軍是小米加步槍．可是我們天天練兵，練思想、練殺敵本領，如同同學們天天用禿鉛筆在馬糞紙上寫字，卻能寫出一手好字來；有的人雖有好鋼筆放在那裏不用，結果也寫不出好字。再者，國民黨反動派發動的是反人民的內戰，遭到全國人民的反對，我們共產黨領導的八路軍、新四軍是保護人民的，是自衛的，是正義的。還有，國民黨兵是抓來的，軍心渙散，打起仗來，沒有戰鬥力。我們八路軍，新四軍是人民的子弟兵，有光榮的傳統，敢於同敵人拚搏．因此，國民黨反動派必敗，共產黨必勝。
羅炳輝的一席話說得同學們樂滋滋的，大家打心眼裏佩服羅炳輝的精辟分析和正確論斷，齊聲說：“對！”羅炳輝接著又說：我們再過幾天，就要挺進山東，接觸蔣軍了，如果他們敢於來犯，我們就統統地叫他們有來無回，死無葬身之地。他又詼諧地說：我們部隊這次挺進山東的口號是“打到山東去，洗澡有溫泉，魯地物產富，樣樣都蘊藏，金銀銅鐵礦，大辦兵工廠，農副產品多，糧油和蓖麻，四季瓜果熟，好吃又香甜，無事去打魚，網網撒個滿。”在陣陣暴風雨般的掌聲中，羅炳輝結束了對同學們的報告。長達一個多小時的報告，羅炳輝始終精力充沛，他那精辟的見解，詼諧、幽默生動的話語，給了師生們以難忘的記憶。
為了廣泛發動群眾，羅炳輝組織在城西體育場召開了宿城軍民聲討蔣介石發動內戰誓師大會。會上，羅炳輝痛斥了國民黨撕毀“雙十協定”發動內戰的罪行，以及共產黨新四軍的立場和政策，饒有說服力地指出了蔣軍必敗，共產黨軍隊必勝的戰爭前途。他提醒人民不要忘記在舊社會被剝削被壓迫遭受蹂躪的苦難生活，號召人民為了不吃二遍苦，不受二茬罪，在黨的領導下，團結起來，徹底粉碎蔣介石發動的反人民的內戰，保衛抗戰勝利果實，建設和平幸福的新生活。羅炳輝的報告，在群眾中產生了廣泛影響，全場響起了響徹雲天的口號聲：“打倒蔣介石”，“中國共產黨萬歲”，“一人參軍，全家光榮”，很多受盡苦難生活折磨的人，擠向主席台，紛紛替兒子報名參軍。
羅炳輝出身貧苦，對工農大眾有特殊的感情。在淮南抗日根據地，他對老百姓敬如父母，睦如兄妹，這是淮南的老百姓深有感受的。行軍打仗，每到一個村莊，他總要到老百姓家坐坐，與當地老農一起聊天，問收成好不好，公糧重不重，對部隊有什麼意見。從油、鹽、柴、米問到對民主政府有什麼要求。凡是老百姓提出的問題和要求，他總是十分認真地聽取，然後一一轉達給地方黨委和地方政府，並且督促他們盡快予以解決。他常常帶領戰士參加當地群眾的生產，經常教育自己的部下要懂得關心愛護群眾，決不允許出現破壞群眾紀律的現象。當時我軍與群眾的關係，真如魚和水，水乳交融。戰場上叱吒風雲的羅炳輝，對老百姓卻很親切，平易近人，他的親民愛民事跡廣為流傳。
羅炳輝任新四軍第5支隊司令員時，他率領的隊伍紀律嚴明，待人和氣，與百姓親如一家。不論官兵，遇到老鄉，對年老的稱老大爺、老大娘，對中年的稱大哥、大嫂，對年輕的則以姐弟相稱。隊伍對群眾秋毫無犯，不搶糧食，不強占民房，不抓民夫。他們每住進一個村莊，都要幫老鄉幹這幹那，走時還為老鄉家的水缸挑滿水，把老鄉的院子打掃幹淨。他們買柴、買鹽都按價給錢，公平合理。他們行軍時走不動了，就在路旁休息，或者相互攙扶，卻絕不驚擾老百姓，老百姓稱他們是“真正的仁義之師”。
羅炳輝任新四軍第2師副師長時，率部征戰在天長，師部駐在靠近天長邊界的盱眙縣黃花塘、泥沛灣一帶。羅炳輝常說：“路東是我們的天下，天時地利人和，三樣都占著。”他和人民之間有著親密無間的感情，他在師部駐地自己開了一塊菜地，種出來的西紅柿結果早，且個兒大、味美，產量高。他將自己種出來的西紅柿送到大廚房，供部隊享用。抗大八分校在龍崗時，羅炳輝兼任八分校副校長，有一年秋天，龍崗群眾正在種蘿卜，這裏的習慣是撒播。羅炳輝見到以後，便向群眾介紹點播蘿卜的好處，並下田示範，向大家傳授要領。羅將軍教種的蘿卜收獲時，果然發現他點的蘿卜不但個頭大，而且質嫩，味美。至今，龍崗還流傳著“羅師長點蘿卜”的故事。
有一年天長一帶旱情嚴重，大通曾出現嚴重的缺糧缺種的現象。羅炳輝自動提出降低自己的糧食標準，以捐獻出糧款救濟災民。有部隊領導勸他：“不要減了，部隊這麼多人嘛，何況你的身體又不好。”他懇切地說：“不行!我是司令員，應該帶頭。”炊事員過意不去，有時悄悄在他碗裏多盛了一點，他便將炊事員找來說：“同誌，謝謝你對我的關心。”接著又開導說：“我們沒有權利搞特殊，要與人民同患難，你這樣做，不行啊!”為幫助根據地人民度過災荒，羅炳輝率領2師開展了轟轟烈烈的大生產運動，全年共生產收糧食13000石。年底，2師拿出當年收獲量的五分之一捐獻給了當地災民。
羅炳輝患有高血壓、胃炎、慢性痢疾、慢性瘧疾，身體狀況很不好，但時時想著人民的疾苦。雖然他是部隊指揮員，他卻總要抽出時間來到老百姓中間去詢問疾苦。他認真地把自己了解到的情況，轉達給地方黨委，幫助老百姓解決問題和困難。就在犧牲前不久，他還在日記中寫道：“久雨連綿不停，農民受水旱蝗災，農民食糧將受影響，熱雨不知幾時止。”
羅炳輝任華野2縱司令員揮師臨沂，與世世代代靠打魚撈蝦維持生活的當地漁民建立了深厚情誼，深得老百姓姓的信任。羅炳輝派一個副官向當地漁民借船，漁民順便說：“給俺弄一斤棉花來就有船了。”羅炳輝立刻派人弄來了棉花，漁民們沒想到羅炳輝會如此看重普通民眾的生活需求，第二天一早，鄉親們就從各處一下子找來了30多隻船。漁民們來回為部隊運送物資、彈藥、軍隊和傷病員。開始，他們和部隊一樣，每天吃兩餐。後來擺渡的任務越來越重，日夜擺渡，餓的很快，兩頓飯就挨不到時候了。羅炳輝聽到這件事後說：“這可是大事，肚子吃不飽怎麼能撐船呢？”於是他馬上決定，船工們改吃三頓，而部隊仍然吃兩頓。這件事讓鄉親們非常感動，後來聽到羅炳輝逝世的消息，許多船工失聲痛哭。
從17歲走出家鄉的大山後，羅炳輝就再也沒有回去過，但他的心中無時不牽掛著自己的家鄉，他生前多次對妻子和孩子們說：“如果我活不到全國解放那一天，你們一定要回雲南老家去，替我為你們的祖父母掃墓。你們要告訴鄉親們，我羅炳輝心裏最愛父母，最愛家鄉。”家鄉人民也深深懷念著他，並為自己的優秀兒子感到驕傲，彝良縣修建了羅炳輝紀念館。羅炳輝將軍誕辰100周年時，家鄉人民為他塑了一座銅像，永遠紀念這位卓越的革命家和軍事家。