回到隊裏後，陳先瑞向參加抗大學習的戰友們講了在毛澤東家裏做客的事，大家都為他感到高興。
1937年12月，任八路軍115師警備第4團團長的陳先瑞，收到毛澤東派人送來的一封信，信中說，陳先瑞所在部隊的政委帶著幾百塊大洋跑了，要陳先瑞速回部隊處理善後工作，並在臨行前來毛澤東住處談一下情況。
陳先瑞跑步來到毛澤東的住所，毛澤東在詢問了事件的前後經過以後說：“當前，民族矛盾是主要矛盾，所以我們黨要同國民黨聯合抗日。我們是真心同國民黨合作的，因為我們要拯救中華民族，打敗日本帝國主義，建立新中國。在國共兩黨合作期間，國民黨頑固派總是千方百計地同我們爭領導權，爭地盤，限製我們的發展。過去那種真槍真炮、麵對麵的、公開的武裝鬥爭少了，他們用武力征服不了我們，就采取另外一種手段，利用吃吃喝喝、金錢美女來拉攏、腐蝕我們隊伍中間的意誌薄弱者。有些同誌在困難麵前低了頭，在吃喝享樂方麵過不了關。”
毛澤東要求陳先瑞回到部隊後，向幹部戰士講明國共兩黨聯合的目的和鬥爭的形勢，使幹部戰士對新形勢下鬥爭的尖銳性、複雜性有個清醒的認識，千萬不要上人家的當。
在談到抗日統一戰線時，毛主席說：“我們聯蔣抗日，這是大局，在聯合中有鬥爭，在鬥爭中求聯合。同國民黨作鬥爭，要注意有理、有利、有節，在政治上一定要站住腳，不能失理。這樣我們就會掌握主動，就會得到社會各階層愛國人士的擁護和支持，國民黨頑固派的陰謀也就會充分暴露。”
針對有些人對紅軍改編問題有情緒、想不通，毛澤東說：“紅軍改編為八路軍，名義上歸蔣介石統一指揮，實際上還是黨中央領導和指揮，這一條是不能變的。紅軍改編，隻是形式變了。我們這支軍隊的性質始終不會變，我們黨的總目標也是不會改變的。國共兩黨建立統一戰線，實際上也是一個誰戰勝誰的問題。我們要與他們針鋒相對，在統一戰線中發展壯大自己，聯合一切可以聯合的力量，發動群眾，團結抗日，把日本侵略者趕出中國去。”
毛澤東對陳先瑞說，要加強政治學習，加強部隊教育。讓大家知道當逃兵是可恥的。大家從道理上、思想上明確了，部隊工作就好做了。
按照毛主席的指示，陳先瑞連夜趕回部隊，先在幹部中統一思想認識，然後對部隊進行教育，使事情得到了妥善處理。後來，陳先瑞還專門給毛主席寫了專題報告。
1944年4月，日本侵略軍集中10餘萬之眾，沿平漢路向河南中西部等地區發動進攻。
此時，國際反法西斯戰爭已經取得了很大勝利，中國的抗日戰爭，也已經由戰略相持轉為戰略反攻。日軍為了挽救其最後失敗的命運，集中5萬餘人的兵力，進攻河南，作垂死掙紮，當時駐守河南的國民黨軍共有40餘萬人，比進攻河南的日軍多出七八倍，卻在日軍的進攻麵前望風而逃，毫不抵抗。國民黨河南第一戰區司令長官蔣鼎文、湯恩伯所屬40萬大軍不戰而潰，狼狽逃竄，僅一個月時間，便使鄭州、許昌、洛陽三大城市和沿隴海、平漢兩線以及豫中、豫南、豫西30多座縣城及所屬的廣大農村淪入敵手。苦難深重的豫西人民，處境極為悲慘。
抗日戰爭以來，由於國民黨反動派一貫堅持積極反共、消極抗日的錯誤方針，其內部極端腐敗，大批將領投敵叛變，以至喪權辱國。但是，當抗日戰爭即將勝利之時，日軍已處於窮途末路，國民黨反動派仍采取不抵抗政策，把中原的大好河山拱手讓給日軍，這不能不激起中國人民的極大憤慨。
豫西多為山地，屬秦嶺東延餘脈，有崤山、熊耳山、外方山、伏牛山等。山勢西高東低。向東展寬呈折扇狀，海拔500至2000米，最高峰不超過2500米。嵩山挺立於山地東部的丘陵地帶，海拔1440米，山勢峻峭、雄偉，是我國名山“五嶽”中的中嶽。
為拯救處於水深火熱之中的豫西人民，打擊日軍的囂張氣焰，從戰略上將華中、華北、陝北聯係起來，中共中央決定，抽調八路軍部分力量，向河南進軍，組織兩個支隊強渡黃河，開辟豫西根據地。
1944年10月的一天，陳先瑞接到上級通知，要他到毛澤東的住處去領受新的任務。毛澤東對風風火火趕來的陳先瑞說，黨中央決定盡快在豫西開辟抗日根據地，決心把警1旅第2團和第770團放出去，這兩個團都是紅軍老部隊，在西北留守兵團搞了七八年，現在是老虎出山顯威風的時候了。
毛主席向陳先瑞介紹了開辟豫西抗日根據地的詳細情況，為了統一領導和指揮河南的抗日鬥爭，中共中央決定成立以戴季英為書記的河南區黨委和以王樹聲為司令員的河南人民抗日軍，河南區黨委下轄四個地委，河南人民抗日軍下轄四個支隊、四個分區。同時，任命陳先瑞為河南區黨委委員，率領警1旅第2團，組成第3支隊，陳先瑞任3支隊司令員兼政委。
介紹完情況後，毛澤東強調說，河南地處中原，是古今兵家必爭之地，戰略地位十分重要。能否開辟豫西抗日根據地，關係到能否把華中、華北和陝北聯係起來的戰略全局。毛澤東告誡陳先瑞，到抗日前線，到敵人後方，要在河南區黨委和河南軍區的領導指揮下，緊緊依靠當地人民群眾，迅速擴大力量，站穩腳跟。
陳先瑞接受任務後，結束了在中央黨校的學習，立即趕回警1旅，向旅領導傳達了毛主席、黨中央的指示後，抓緊做好出征的準備。
11月16日，任弼時代表黨中央和毛澤東主席接見了陳先瑞等即將出征的部隊營以上幹部，傳達了中共中央、中央軍委關於成立河南區黨委和河南人民抗日軍的決定，宣布了河南區黨委和河南人民抗日軍的領導成員，介紹了當時的日軍侵華形勢和河南戰場的情況。他說，中共中央和中央軍委決定進軍河南，這是一個具有重要戰略意義的決定，希望警1旅第2團和第770團的全體指戰員，在河南區黨委和河南人民抗日軍的領導指揮下，團結對敵，依靠群眾，壯大隊伍，開辟和鞏固根據地。會議結束後，中央專門設午宴招待了到會的同誌，毛澤東主席到會接見了大家，並給大家祝了酒。
中共中央、中央軍委在馬列學院大禮堂舉行了歡送上前線部隊的大會。河南區黨委機關人員、河南軍區機關和所屬第3支隊、4支隊全體指戰員，集中坐在禮堂內和禮堂的門、窗外麵，整個會場人員滿滿的，氣氛嚴肅、熱烈，毛澤東、朱德、劉少奇、任弼時等中共中央和中央軍委的領導人都出席了會議。陳先瑞在坐在主席台上離毛澤東很近的位置上。
陳先瑞告別了中共中央，告別了革命聖地，率部離開延安，踏上了南去的征途。陳先瑞率部由佳縣出發，渡過黃河，進入晉西北的根據地，爾後跨過汾河平原進入太行區。一路上，陳先瑞和指戰員們親眼目睹了晉西北廣大地區在日軍的殘酷“掃蕩”下，呈現出的淒涼慘狀。到處是殘牆斷壁，瓦礫成灰，所見群眾都是破衣爛衫，在窯洞中避寒。所有這一切，無不激起了指戰員們對日軍的無比仇恨，複仇的怒火在胸中燃燒。
1945年元旦剛過，陳先瑞率部抵達黃河岸邊。渡河成了一個實實在在的難題，黃河南岸的渡口，已經被日軍嚴密控製，難以靠船北渡。陳先瑞派人沿黃河北岸上下50公裏內，僅找到了三條小船，大家都非常著急。當時正是三九寒天，黃河上已經結上了厚厚的冰層，形成了一座“冰橋”。陳先瑞立即命令部隊緊急集合，通過“冰橋”渡過黃河。陳先瑞一聲令下，戰士們在數百米的範圍內，多路縱隊橫渡，不到半小時，一個支隊的兵力連同輜重全部渡完。1945年1月16日，陳先瑞率領3支隊2000人馬順利渡過了黃河，18日，部隊到達已解放的澠池縣城。當日晚，在澠池縣城西南15公裏處的一個村子，陳先瑞與豫西2分區會合。之後，3支隊主要在臨（汝）禹（州）郟（縣）之間發展，在此建立了豫西3分區的領導機構，陳先瑞任3分區地委書記、分區司令員兼政委。
日軍得知了陳先瑞率領3支隊南下河南的消息,迅速組織力量進行圍攻。1月24日，駐在伊川、汝陽、臨汝等地的日偽軍1000人瘋狂向3支隊撲來。陳先瑞立即命令支隊第9團進行阻擊，大部隊迅速向東北轉移，同時迅速向河南省軍區報告。
按照陳先瑞的命令，第9團英勇阻擊敵人，先後打退敵人多次進攻。該團第5連為掩護主力撤退，占據了一個山頭，死死卡住了敵人前進的道路。他們以一個排從正麵阻擊，另一個排側翼迂回，襲擊敵側，留下一個排作預備隊。凶猛的敵人先是火炮轟擊，後集團衝鋒。5連戰士在敵炮火轟擊時，躲在山石後麵，炮火一停即進入射擊位置，以輕重火器一齊開火，給敵以重大殺傷，就這樣連續三次打退了敵人進攻。5連全體指戰員沉著應戰，始終不讓敵人前進一步。此時，第1支隊的部隊從敵後麵發起進攻，敵人慌忙逃走，在5連陣地前遺棄數十具屍體。
這是陳先瑞率部進入河南打響的第一仗，共殲敵60餘人，全支隊僅傷兩人，繳獲輕機槍3挺，步槍30餘支，戰刀兩把。這一場傑出的阻擊戰，受到了河南省軍區領導的表揚。
1945年2月，中共河南區黨委和河南軍區在登封縣召開會議，研究部署下一階段的作戰方針，會議強調，要緊緊地依靠豫西群眾，團結一切可以團結的人，正確區別和對待各種政治力量，有理、有利、有節地開展鬥爭，會議重點研究了各支隊的戰略展開和建立黨政組織、發動群眾、創建新根據地的問題。
會議確定的軍事鬥爭方針是，各分區以獨立鬥爭為主，同時緊密配合，互相協作，采取有分有合的作戰方針，根據實際情況，可集中全軍區力量打開一個地區局麵，也可臨近二三個分區力量集中，相互支援。
根據會議的決定，陳先瑞率第3支隊在南召、魯山、方城等縣內作戰略展開，建立第3分區和第三地委，通過戰略展開，打開局麵，建立根據地。
由於我們第3支隊、4支隊剛到，還沒有立足點，會議決定先以登封、密縣為依托，第3支隊向臨(汝)禹(州)郟(縣)之間發展；第4支隊向新(鄭)密(縣)禹(州)之間發展。會後，各支隊開始行動。
陳先瑞率領的第3支隊重點活動區域是臨禹郟地區，多為丘陵地區，這一地區自古以來土匪眾多，老百姓對此苦不堪言。陳先瑞決定，對那些勾結日偽，魚肉百姓，罪惡較大的地主土頑頭子實行鎮壓，把他們的財物、糧食分給貧苦群眾，發動群眾，鬥地主豪紳，宣傳抗日主張，建立群眾組織。
但是，這一地區的地主土匪武裝，多以土圍寨為據點，與群眾雜居在一起，打擊起來有一定難度。必須深入寨內，充分發動群眾，求得群眾的理解和支持。
陳先瑞首先放手發動群眾，通過各種形式的宣傳，號召一切不願當亡國奴的河南同胞，聯合起來，保衛國家民族，保衛河南，保衛家鄉，堅持抗戰，準備反攻，打倒日本帝國主義，趕走侵略者。同時，他還命令部隊到群眾中去，闡明我黨的方針、政策，說明我軍到河南的目的，一切為了民族，一切為了人民，陳先瑞的宣傳工作，在村村寨寨產生很大影響。
在廣泛宣傳的基礎上，陳先瑞決定展開軍事行動，對駐守神屋鎮作惡多端的禹縣保安團的一個大隊發起攻擊。陳先瑞請求軍區統一組織協調，以第1支隊兩個團主攻，第3支隊攔截，防敵突圍逃竄，第4支隊打援。
經過周密的布置和準備，軍區領導一聲令下，陳先瑞率部發起攻擊，以迅雷不及掩耳之勢，一舉將敵人殲滅，少數逃跑之敵也在追逃的路上被阻殲，援敵尚未知悉時，戰鬥即告結束。這一仗打的幹淨、迅速，第3支隊乘勝解放了禹縣以西、郟縣以北、臨汝以東的大片地區。此役也震懾了附近的許多土頑頭子，他們都主動與陳先瑞率領的第3支隊接頭，願意抗日，支持建立民主政權，陳先瑞的部隊很快在這一帶開辟了新區，站穩了腳跟，打開了新局麵。
1945年4月，由冀魯豫軍區兩個團組成的第6支隊渡黃河南下，到達河南軍區，軍區力量有了明顯加強。軍區司令員王樹聲對第6支隊司令員劉昌毅、政委張力雄的到來表示歡迎，並決定第6支隊到臨汝、郟縣、襄城、寶豐間開辟新區，建立第6分區和六地委，第6支隊也很快打開了局麵。河南軍區所轄的六個支隊，在豫西廣大地區展開活動，不僅打開了抗日局麵，站穩了腳跟，而且在廣大農村發動群眾，建立抗日民族統一戰線，團結一切可以團結的力量，建立起地方政權組織和民兵自衛隊，創建了抗日根據地。
1945年5月，陳先瑞率3支隊相繼打下臨汝以南及魯山以西的廣大地區，直逼南召西北的馬市坪。馬市坪是南召外圍的重要據點，為國民黨高樹勳新八軍部隊駐守。為了爭取高樹勳同八路軍一起抗日，陳先瑞同高樹勳在南召縣馬市坪地區的一個河灘上，進行了長達兩個小時的談判。談判雙方席地而坐，陳先瑞首先向高樹勳宣講了八路軍的政策，說明了進攻魯山、南召地區的目的是抗擊日本侵略者，建立抗日根據地，希望團結一切不願當亡國奴和願意抗日的各階層人士，把日本侵略者趕出中國。接著，陳先瑞又詳細分析了國民黨集團內部的派係和矛盾鬥爭，希望高樹勳能認清形勢，做一個有良心的中國人，同八路軍一起攜手抗日。
陳先瑞的一席話入情入理，高樹勳表示決不當漢奸，願作一個誠實愛國的人。最後達成雙方劃定活動地區、互不侵犯、互通情報、經常聯係等協定。陳先瑞同高樹勳的會麵，在國民黨反動派中引起了軒然大波。胡宗南立即派第90軍李文部由盧氏縣向嵩縣移動，向高部靠攏，進行監視。這次談判，對後來高樹勳在邯鄲率部起義起了促進作用。10月30日，高樹勳率新編第8軍在河北磁縣馬頭鎮起義，並通電全國，主張和平民主，反對內戰，高樹勳的起義，為晉冀魯豫軍區部隊殲滅沿平漢路進犯的國民黨軍創造了有利條件。
1945年7月初，中國的抗日戰爭已進入攻堅階段，中央軍委指示河南軍區，按照“向西防禦，向東向南進攻”的作戰原則，北與太嶽、太行，東與西渡黃河的冀魯豫部隊，南與新四軍第5師的部隊打成一片。根據河南軍區的統一部署，陳先瑞決定，率領第3支隊越過魯山敵占區直抵 岈山，與新四軍第5師豫中兵團會合，共同在豫中展開活動，加強豫中軍事力量，爭取把豫中建設為鞏固的根據地。
南進行動開始後，陳先瑞率第3支隊利用日伏夜行，越過魯山，通過許南公路，到達 岈地區的李香樓，與豫中工委、豫中兵團會合。在南進的沿途，他們殲滅兩股偽軍，收編了兩股地方武裝。兩支武裝會合後，組成了豫中地委、豫中分區和豫中行署。陳先瑞任地委副書記、軍分區司令員，分區部隊共7000餘人。
1945年8月，抗日戰爭進入反攻階段。8月8日，蘇聯對日宣戰。9日，毛澤東主席號召“中國人民的一切抗日力量舉行全國規模的反攻”。隨後，朱德總司令向各解放區的抗日武裝部隊發布反攻命令。陳先瑞根據河南軍區指示，指揮分區部隊，掃除日偽據點及敵占城鎮，搶占交通要道，組織地方武裝趁勢收複失地，很快占領了葉縣、舞陽、西平、遂平、泌陽、方城間的廣大鄉村和城鎮，鞏固和擴大了豫中根據地。
8月15日，日本宣布無條件投降。中國人民經過八年浴血奮戰，抗日戰爭取得了全麵勝利。
抗戰勝利後，為加強中原地區的武裝力量，中共中央成立了中原局和中原軍區。中原局下轄三個區黨委，中原軍區下轄兩個野戰縱隊和三個軍區，共6萬餘人。陳先瑞率領的第3支隊改為河南軍區獨立第3旅，陳先瑞任河南軍區副司令員兼獨3旅旅長。
1946年3月上旬，中原軍區再次整編，第2縱隊第15旅與河南軍區獨立第3旅合並，組成新的第15旅，王海山任旅長，陳先瑞任政委。
幾十年的南征北戰，陳先瑞都是擔任軍事主官的角色，這次整編後，改任新15旅政委，他心裏還是有些想法的。陳先瑞長期擔任軍事幹部，在部隊作戰指揮、管理方麵還是有一些經驗的，擔心改任政治工作領導以後，這些經驗用不上了，中原軍區首長鄭位三、李先念分別與陳先瑞談話，陳先瑞雖對改行有點不情願，但還是很高興的接受了首長的意見，服從組織決定，體現出一個軍事指揮員顧全大局的高風亮節。
這次整編後結束後陳先瑞率15旅移駐安應地區進行整訓。此時，國民黨軍對我中原部隊實行軍事包圍的行動已經開始，雖然國共雙方已經公布了停戰協定，然而國民黨反動派不但不執行協定，反而加緊調兵，將我中原部隊重重圍困，步步進逼，必欲置我中原6萬子弟兵於死地。一心要打內戰的蔣介石，一步一步地把魔爪伸向中原軍區，他不顧全國人民的反對，調遣了30萬大軍，毀民房、砍樹木，修築了十多萬個碉堡，工事縱深達十多公裏。陳先瑞部隊駐區周圍，在幾十個縣的範圍內，國民黨軍修築了上萬個碉堡，有些碉堡一直修築到了他們陣地跟前。蔣介石叫囂，要在中國共產黨成立25周年紀念日——1946年7月1日前夕發起總攻，一舉消滅中原革命武裝。
國民黨在采取軍事行動的同時，還進行經濟封鎖和政治破壞。他們采取各種手段，進行造謠誣陷，無中生有，誇大事實。明明是他們實行突然襲擊，發起進攻，卻反誣我軍先發起攻擊。他們口頭上答應按停戰協議辦，實際上根本不執行，對我軍提出的合法轉移，購糧運糧等合理要求，實行百般阻止，無理拒絕。
中原軍區部隊遭受重重封鎖，因糧食缺乏而出現的嚴重糧荒，中原軍區幾萬人的部隊和百萬人民群眾，日食樹皮草根薄粥，瀕臨絕境，這種慘狀已嚴重威脅到部隊的生存。
國民黨當局無視各種輿論的監督，在虛與我黨談判的同時，仍調整部署，調動部隊。至4月底，國民黨以11個軍26個師30餘萬人的兵力，從南、西、東、北方向，完成了對我中原軍區部隊實行“圍殲”的計劃。中原軍區部隊被蔣介石以重兵包圍，經濟封鎖、政治破壞達到了最困難、最危險的邊緣。
此時，中共中央和中原軍區先後發表聲明，嚴正指出：中原內戰的爆發，必將成為全國內戰的起點，蔣介石如不懸崖勒馬，必將玩火自焚。但蔣介石置共產黨忠言而不顧，在以種種無理條件來阻止談判的同時，竟暗中部署對中原軍區部隊的“圍殲”，使中原的形勢十分嚴峻。中原形勢異常緊急，中原大戰如箭在弦上，一觸即發。
在嚴峻的形勢麵前，陳先瑞指示部隊，按照中原軍區領導的要求，從實際出發，製定突圍方案，做好突圍的思想準備，積極做好穩定部隊工作，同時，加強軍事訓練，做好突圍的軍事準備。陳先瑞作為政治委員，通過開展文化娛樂活動，組織戰士進行秧歌大賽等，來穩定思想，鼓舞鬥誌。他還組織全旅政工幹部，開展訓練突圍中的政治工作討論，動員全體政工人員，掌握部隊思想情況，及時做好教育工作，保證部隊任務的完成。
形勢一天緊似一天。6月中旬，蔣介石發出秘密指令：出動鄂豫皖邊區外圍部隊，由劉峙統一指揮第五、六綏靖區部隊，采取“嚴密封鎖，分進合擊”的戰術，徹底消滅中原的共產黨軍隊。
按照蔣介石的旨意，6月20日，劉峙圍殲中原部隊的具體部署是：整編第41師、15師、66師重點進攻宣化店地區，圍殲中原軍區機關及第2縱隊主力；整編第66師主力在完成對宣化店的合圍後，協同整編第72師新15旅，進攻呂王城，圍殲鄂東獨立第2旅；整編第47師、72師(欠新15旅)及整編第48師之第174旅附獨1團，進攻潑陂河地區，圍殲第1縱隊主力；整編第75師和整編第3師封鎖平漢線，機動使用。駐西安空軍支援第5綏靖區；駐武漢空軍支援第六綏靖區，擔任縝密偵察、及時通報和轟炸掃射任務。
中共中央和毛澤東主席已經明察了蔣介石的罪惡陰謀，6月23日電令中原局，要準備犧牲一部分兵力，抓緊時間，迅速突圍。電報指示中原局：“立即突圍，越快越好，不要有任何顧慮，生存第一，勝利第一。”中原軍區部隊遵照中共中央和毛澤東同誌的戰略部署，立即開始突圍部署，指定掩護主力突圍的部隊，安排堅持原地鬥爭的武裝，突圍部隊開始隱蔽移動，向集結地靠攏。
1946年6月26日，蔣介石悍然撕毀停戰協定和政協決議，發動了對中原解放區的大舉圍攻。國民黨軍隊共七個旅8萬餘人的兵力，兵分四路，以宣化店為目標，開始大舉圍攻中原解放區，全麵內戰由此爆發。中原突圍戰役的打響，揭開了全國解放戰爭的序幕。