“九一八”事變不久，葉挺按捺不住對苦難祖國的思念之情，決定立即回國，參加抗日救國鬥爭。
西安事變後，蔣介石迫於國內外形勢，同意國共第二次合作，一致抗日，在共產黨的極力倡導下，在不斷高漲的全國抗日救亡運動的推動下，國共兩黨第二次合作終於實現，中國抗日民族統一戰線正式形成。但蔣介石內心並未完全放棄“剿滅共匪”的計劃，隻是想變換一下策略，實行所謂“北和南剿”。為促進全民族統一戰線的形成，周恩來、葉劍英等在西安、南京等地，與國民黨當局、蔣介石談判，把長征到達陝北的主力紅軍改編為第八路軍。陳毅、項英等與國民黨地方當局談判，把南方紅軍遊擊隊集中改編為地方抗日武裝。
1937年７月初，周恩來應國民黨之邀赴廬山談判，他與博古、林伯渠到達上海的當夜即發生了震驚中外的“盧溝橋事變”。周恩來等在上海逗留的一周中，向上海的地下黨負責人講解了新時局下的統一戰線方針和工作方略，秘密會見了高層民主人士 ，並安排了情報工作。雖然日程很緊，但周恩來還是經潘漢年安排和葉挺見了一麵，他和葉挺從柏林分手後，已有10年沒見麵了。
兩人見麵後，周恩來告訴葉挺：當前他正和蔣介石談判紅軍部隊的改編問題，改編南方八省紅軍遊擊隊的問題，將會提上議事日程，他希望葉挺能夠參加這支部隊的改編工作，並示意葉挺可在適當的時候向陳誠等表示自己願意領導這支部隊，以取得他們的支持。周恩來知道，陳誠是葉挺在保定陸軍軍官學校的老同學，時任國民政府軍委會第三戰區前敵總指揮
抗日救國是葉挺心中最強烈的願望。他完全讚成國共合作，因為他認為隻有這樣才真正有力量。但他不願意到國民黨的軍隊裏去。現在有機會在中國共產黨的直接領導下組建新四軍，他的心情是激動而複雜的。他表示堅決擁護中共中央的政治軍事戰略，抗戰到底。他以極大的熱情，投入到組建新四軍的工作中去。
“8·13”第二次淞滬抗戰爆發後，葉挺根據周恩來的授意，主動向陳誠建議，將南方八省紅軍遊擊隊集中編一支部隊，開赴前線抗日，並建議這支部隊取名新編第四軍，以繼承國共第一次合作北伐老四軍的光榮傳統，他表示願意參與這支部隊的組建。隨後葉挺又將此事告知老四軍軍長李濟深，還有馮玉祥，他們也向蔣介石進言。
蔣介石迫於上海危急、南京朝不保夕的嚴峻形勢，采納陳誠的保薦，再一次被動地接受了我黨提出的將南方八省紅軍遊擊隊合編為一個軍的改編方案。9月28日，在沒有征得中國共產黨同意的情況下，國民政府軍事委員會就發出通報，宣布“委員長核定”，“任命葉挺為新編第四軍軍長”。
其實，蔣介石企圖在冠冕堂皇的“團結抗戰”的旗號下，通過對我軍的控製、削弱，達到最後消滅我軍的目的。他那樣痛快點頭並搶先任命葉挺當這個軍的軍長，就是想借助葉挺的手，或者把這支部隊改造成國民黨的軍隊，或者把它送上前線，借日寇將它消滅。蔣介石要求壓縮新四軍編製人數、要派人來控製部隊，不肯承擔軍費供給，不斷刁難，都是為了這個目的。葉挺看清了蔣介石的真實用心，利用自己的特殊身份，同國民黨當局陳誠、何應欽、顧祝同等據理力爭，甚至當著葉劍英的麵向蔣介石以“辭職”要挾，迫使蔣介石讓步。
10月下旬，葉挺離開南京，途經武漢、西安，來到延安。在延安，毛澤東等親自迎接他，為他設宴接風，多次進行廣泛交談，並陪他到抗大、黨校等地觀光。葉挺向張聞天、毛澤東等表示，一切聽從黨指揮。葉挺對他在大革命失敗之後走過的這段曲折道路作了自我解剖，再次表示擁護中國共產黨的軍事戰略，接受中國共產黨的領導，坦誠直率，溢於言表。
毛澤東對葉挺在北伐戰爭中和南昌、廣州起義中建立的曆史功績給予高度評價，對他充分理解我黨的路線政策和願意與我黨共同抗日的堅定決心表示熱烈歡迎。他們的談話開誠布公，真摯懇切，對於抗戰的發展趨勢、獨立自主原則、廣泛開展遊擊戰爭、創造敵後根據地等重大問題，都有詳盡的探討，並相互取得了充分的理解和信任。他們還談了新四軍的組建問題。
葉挺到延安後和毛澤東談了整整一夜，葉挺說：“我已經當了軍長，黨籍的問題能不能恢複。”當時葉挺的想法是即便不能公開地恢複黨籍，秘密地恢複也行。可是毛澤東說：“你不當共產黨比當共產黨起的作用更大。當了共產黨你就不能當新四軍的軍長了，許多話和要求也不好說了，因為國民黨不會讓共產黨員當新四軍的軍長，也不會采納共產黨的建議和要求。”但毛澤東也向葉挺表達了這樣的意思，即“不是你葉挺不能當共產黨員，而是你不當共產黨員對開展工作更有利。”葉挺服從了毛澤東的這種安排。
交談結束後，由毛澤東親自主持，在抗大禮堂舉行了一次歡迎葉挺的幹部大會，正式宣布了中央的正式決定，由葉挺任新四軍軍長，項英任副軍長(黨內稱政委)，由他們共同領導新四軍。毛澤東在會上說：“我們今天為什麼歡迎葉挺軍長呢?因為他是大革命時代的北伐名將，因為他願意擔任我們新四軍軍長，因為他讚成我黨的抗日民族統一戰線的政策，所以我們歡迎他。”
毛澤東就新四軍的組建向葉挺作出了明確指示，新四軍編兩個師、4個旅、8個團，由陳毅、張鼎丞、張雲逸、譚震林擔任師級領導。根據毛澤東的指示，葉挺向國民黨當局力爭，最後達成協議，新四軍編4個支隊(旅級)，第1、2、3支隊各兩個團，第4支隊3個團，外加一個手槍團；國民黨當局同意不派幹部，決定由陳毅、張鼎丞、張雲逸、高敬亭等擔任支隊領導，項英為副軍長，張雲逸為參謀長，袁國平為政治部主任。在葉挺的努力下，基本上實現了黨中央對組建新四軍的要求。
毛澤東在與項英商談新四軍組建工作時，特別交代了兩條，一是要善待葉挺，爭取與他融洽共事，二是對國民黨要警惕，不允許安插一兵一卒。
從延安返回，葉挺又去南京與蔣介石會晤，協商新四軍的編製及任務。蔣介石以為，葉挺在接受新四軍軍長任命後，一定會先去拜見他這個委員長 ，因為葉挺當軍長的任命是他先發布的，蔣介石還猜測“近10年來共產黨對葉挺也不怎麼好”，所以葉挺應該對他表示忠心和感謝才對。誰知葉挺在接受任命後，不但沒有去看他，反而先於副 軍長項英到了延安。蔣介石對此非常不滿，大發脾氣，認為他上當了。
11月下旬，在漢口太和街26號（今漢口勝利街與盧溝橋路交會處），葉挺吸收了一批同誌組建了新四軍的籌備處，打出了新四軍的大旗。
1938年1月6日，新四軍軍部由武漢遷至南昌。葉挺看到，經過南方三年遊擊戰爭考驗的紅軍遊擊隊，具有艱苦奮鬥、不怕犧牲的優良傳統，同時，紅軍遊擊隊員大都出身貧苦勞動人民的家庭，讀書不多，缺少文化，長期遊擊
環境，未能經過正規軍事訓練，更未研究過戰略戰術。而新四軍挺進華中敵後，麵對的是武器精良、訓練有素的正規化日軍，不僅要打遊擊戰，還要打陣地戰、攻堅戰，大部隊協同作戰，必須提高廣大指戰員的政治、軍事、文化素質。
新四軍組建後，葉挺集中精力抓部隊訓練，親自給指戰員講課，講與日軍作戰的戰略戰術，親自上操場指導指戰員演練。葉挺主持編寫了《關於新四軍對敵作戰說明書》，這份說明書，不僅成為新四軍的軍事教材，連蔣介石都批示：“所陳各節頗有見地，已令擇列教令，以供我遊擊各部隊之參考。”
葉挺為新四軍部隊的集中整編和籌槍籌款奔走交涉。國民黨當局核定新四軍每月軍費6.5萬元，在葉挺力爭下，增加到9.5萬元，後來又增加到13.5萬元。為了補充新四軍的經費，他甚至捐獻出嶽父母的養老金。新四軍警衛部隊、教導隊和部隊幹部的駁殼槍，是葉挺從香港買來的，團以上幹部的望遠鏡，也是他從香港買來的。
葉挺充分利用自己的社會聲望宣傳新四軍，新四軍組建不久，他就在武漢、廣州、香港以新四軍軍長身份召集記者招待會，多次會見記者，向國內外宣傳新四軍，宣布南方八省紅軍遊擊隊集中改編後，將挺進華中敵後抗日，漢口的《大公報》、廣州的《救亡日報》和香港的《珠江日報》先後發表了葉挺的講話。在國民黨當局實行新聞封鎖的環境下，葉挺通過自己的努力，把新四軍堅持華中敵後抗日的信息大量介紹到海內外，使新四軍得到了海外廣大華僑華人的讚揚、聲援和捐助，在皖南事變發生後，國內外人士都同情支持新四軍，痛斥國民黨當局和蔣介石倒行逆施，也為黨中央重建新四軍軍部創造了良好的社會輿論氛圍。
新四軍部隊經過整訓後，隨即開赴敵後地區實施戰略展開。當年的南方八省遊擊健兒浴血奮戰在大江南北，痛擊日本侵略軍，打出了軍威，振奮了民心。中共中央特致電葉挺軍長、項英副軍長並全體將士，讚揚新四軍“打擊了日寇，壯大了自己，創設了遊擊區域”。
1940年10月，日軍重兵大舉“掃蕩”皖南，妄圖一舉消滅我新四軍領導機關。葉挺親臨前線，指揮殺敵。在戰鬥動員大會上，葉挺問：“打鬼子要流血犧牲，你們怕不怕？”戰士們齊吼：“不怕！”聲浪排山倒海。葉挺的決心和部隊的士氣達到了高度統一。葉挺的指揮所離火線很近，但他處險不驚。此役殲敵數百，收複了涇縣，打得日軍大敗而退。
新四軍軍部位於皖南涇縣雲嶺地區，這個地區地形狹窄，兩側都是國民黨防區，後麵則是國民黨的大後方，駐有大量國民黨部隊，對新四軍形成包圍監視之勢。黨中央指示新四軍，將新四軍軍部和皖南新四軍主力迅速向北轉移。葉挺致電毛澤東、朱德，衷心擁護黨中央的決定，他還從作戰和戰術的角度，多次向項英進言：“皖南雖好，但卻是一塊死地。因為，新四軍9000餘人蝟集於雲嶺一帶，這裏縱橫不過百餘裏，北靠長江，東臨日寇，西麵和南麵是多達12萬人的國民黨頑固派軍隊隨時可能對我軍聚而殲之”。
但是，項英總是舍不得皖南這塊打過3年遊擊戰爭的熱土，借口華中特殊，怕友軍生疑而拒不執行中央關於新四軍軍部和主力部隊向北轉移的決定。由於項英猶豫不決，對黨中央的指示一拖再拖，以至耽誤了新四軍北移的時機。
在新四軍項英名義上為副軍長，但他是中共中央東南局書記、中共中央軍委新四軍分會書記，是代表黨來領導這支軍隊的，因此一切由他說了算。葉挺除了向國民黨交涉編製、經費、裝備等外，當軍長有名無實，大多數會議不能參加，與黨中央重要來往文件不能看，這使他深感苦悶，也無可奈何。
蔣介石一麵以政治人格保證新四軍北移安全，一麵密令第三戰區“一網打盡，全殲葉項”。他還派白崇禧到上饒與第三戰區司令長官顧祝同和襲擊行動的戰場指揮上官雲相商議作戰方案。白崇禧從項英對山的迷戀中判斷新四軍將走茂林路線：“項英和新四軍都是些山大王，離開了山就感到虎落平陽。項英生性謹慎，他肯定會選擇最安全最保險最有把握的路線，走山路。”為了麻痹項英，國民黨故意在茂林鎮隻駐紮了一個營的兵力，而令7個師的大部隊張網而待。
項英果然上當。但是，一步一步鑽入口袋的新四軍並非沒有機會，他們衝破羅網的唯一機會就是與國民黨合圍部隊爭取時間。因為國民黨兩翼張開的7個師封閉包圍圈，需要的時間比新四軍突圍而出的時間要長。可惜的是，由於項英的遲緩，新四軍未能抓住這最後起死回生的機會。
1941年1月6日，國民黨第40師和52師利用新四軍在安徽涇縣茂林休息的時間，搶築工事，以逸待勞，突然向行進間的新四軍開火。遵令北移的新四軍軍部及所屬皖南部隊9000餘人，突遭國民黨軍7個師8萬餘人的包圍襲擊。國民黨反動派置民族抗日大義於不顧，動用了8倍於新四軍的兵力，發動了震驚中外的“皖南事變”，製造了一幕“千古奇冤”的悲劇。
部隊陷入重圍後，副軍長項英未與在火線指揮的葉挺打招呼，便帶著政治部主任袁國平、副參謀長周子昆脫離了部隊。葉挺在得知此情後，商由東南局副書記饒漱石署名致電中共中央：“項英、國平、子昆於今晨率小部武裝不告而去，行方不明，我為全體安全計，決維持到底。”
由於天黑不辨方向，項英等未能鑽出包圍圈，才又和大部隊彙合。此時皖南的新四軍已陷入絕境，在整體突圍無望的情況下，葉挺決定分散突圍。但此時饒漱石在石井坑親自找葉挺談話，要他出麵與堵在前麵的國民黨32集團軍108師談判，想以軍長的聲望“說服”國民黨軍隊停止進攻，並說明他代表的是黨組織的意見。
葉挺本不同意談判，他已擬好了致妻子的絕命電報，抱定拚出一死的決心，苦撐危局，準備戰死，隻是經饒漱石一再勸說，他才同意赴敵營談判。葉挺明知敗勢已定，已沒有談判的條件了，還隻得奉命行事，下午派參謀持名片去與國民黨軍隊接洽談判，意料之中遭到扣押，葉挺此去籠罩著濃鬱的重蹈覆轍的陰霾。
為了挽救自己的部屬，葉挺想出了以身贖命的辦法。他致信蔣介石，提出“懇準判挺以死刑，而將所部被俘幹部不論黨籍何屬，概予釋放，複其自由。”葉挺知道蔣介石一向標榜最重人格，想用信譽操守來打動他：“挺聞之，凡自愛其人格者，必能尊重他人之人格，凡寶貴自己政治節操者，必能尊重他人之政治節操。今委座方以尊重道義人格為天下倡，且執政黨亦應以寬大為群倫楷模，則挺願以一死為部屬贖命，諒不至斥為矯情釣譽也。”
蔣介石接到信後，仰天大笑：“希夷真是可愛，天真得像個孩子。這是政治問題，與人格沒有關係。”他命令第三戰區副司令長官兼32集團軍總司令上官雲相發起總攻，1月12日下午，頑軍猛攻新四軍堅守的最後一個陣地石井坑。新四軍彈盡糧絕，當晚，葉挺、饒漱石決定分批向北突圍，軍部首長很快便在黑夜中失散。
葉挺為執行中央指示，保存幹部，減少最後的犧牲，下山與國民黨軍隊談判，到了108師，果然遭到了扣押。北移部隊血戰七晝夜，終因寡不敵眾，彈盡糧絕，除2000餘人突出重圍外，大部或壯烈犧牲，或被俘失散，項英在突圍中被叛徒殺害，袁國平等六千餘人犧牲。軍長葉挺被國民黨當局囚禁。
蔣介石製造皖南事變後，宣布新四軍為“叛軍”，下令取消新四軍番號，將葉挺革職。國民黨軍事法庭最後判處葉挺無期徒刑。
皖南事變是國民黨第二次反共高潮的最高峰。他們破壞抗戰，製造借口，布設陷阱，對共產黨的軍隊進行了一場大規模的陰謀屠殺。重慶《新華日報》發表周恩來的題詞《為江南死國難者誌哀》：“千古奇冤，江南一葉；同室操戈，相煎何急！”葉挺被押往上饒集中營七峰岩監獄的一座廟堂，後又被送到顧祝同長官司令部所在地的李村。在李村囚室，葉挺在窗戶上用墨筆寫著：“以不變應萬變”。任憑你手段迭出，花樣翻新，我的政治節操至死不變。“三軍可以奪帥，匹夫不可奪誌”，這一抗戰初期請郭沫若寫成的條幅，葉挺是作為座右銘自勉的。
1941年1月17日，被扣押的葉挺軍長在衛兵們的押解下，走了七八裏崎嶇曲折的羊腸小道，來到七峰岩半山腰洞中的一座小廟裏。這裏是江西上饒縣的國民黨第三戰區長官部駐地。在葉挺的臥室內，放著一張床，一張桌子，一張木椅子。桌子上擺著紙、筆和硯台。第三戰區司令長官顧祝同給葉挺派來了一個年輕的少校副官和一個年紀大的勤務兵，照顧他的生活。葉挺被國民黨囚禁後，這位赫赫有名的北伐名將從此身陷囹圄。身陷險境的葉挺將軍首先考慮的不是個人的安危與榮辱，葉挺把個人的生死榮辱置之度外，卻時刻牽掛部屬的命運。他在向蔣介石和顧祝同一再要求釋放部屬的同時，盡最大的努力關照同被囚禁的部屬。
為解救那些過著非人生活的新四軍部屬，葉挺以自己有病，需要有專門醫生隨身照料為由，先後幾次拒絕反動派安排的醫生給他看病，而將他自己的醫生新四軍醫務處長王聿先要到自己的身邊。王聿先懷著忐忑不安的心情，來到葉挺身邊，他看到葉挺麵容枯黃，趕忙詢問他的身體情況。葉挺深情地望著他說：“我的身體很好。沒有什麼病，隻是想把你們找到身邊看一看，放心一些。”短短幾句話道出了葉挺對部屬的深情厚誼，在反動派嚴刑拷打麵前都未屈服的王聿先，此時卻哭出了聲。當葉挺知道幾位新四軍高級幹部被囚在隔壁的房子裏，萬分惦念，便問王聿先：“這一帶容易生什麼病？”王聿先說：“大家身上都生了虱子，容易傳染回歸熱。這裏蚊蟲很多，容易生瘧疾。”
遠在重慶的周恩來得知葉挺被囚在上饒，特地彙來了一筆款項。第三戰區長官部不好扣押，由副官處長茅乃功轉交給葉挺。葉挺用這筆款項買布料做了好幾套單衣褲，分送給同囚在李村監獄的新四軍政治部秘書長黃誠、組織部長李子芳、敵工部長林植夫和王聿先、葉育青、葉欽和等人。在獄中，此時的葉挺隻能送這些衣褲表示點關懷之情。
當葉挺又得知獄中同誌的營養很差，便叫他的侄子葉育青找人買來豬肉，由他親手做好，分送給周圍的同誌。以後錢用光了，葉挺又把他那架視若珍寶的照相機也賣掉了。為了營救部屬，葉挺在給蔣介石的信中寫到：“挺不願苟且偷生，以玷前修，願保其真情而入地獄。”隻想“以一死為部曲贖命”，“而將所部被俘幹部不問黨籍何屬，概予釋放，複其自由”， 葉挺說：“許多新四軍的幹部戰士被投入國民黨的黑牢，他們都是無辜的抗日將士。”這一切都充分表現了他對戰友們無私的關懷和愛憎分明的革命氣概以及與部屬們同甘共苦、患難與共的坦蕩襟懷。
葉挺深知坐牢是長期的，為了與國民黨反動派進行長期鬥爭，他以積極樂觀的精神麵對殘酷的現實。在關押期間，為了補充必要的營養，他讓看管特務幫他買了一隻奶羊，每天穿著舊軍衣牽著奶羊在特務的監視下去野外牧羊。曠野間的清風吹拂著他那自從被捕後從未理過，已經斑白的齊胸須發，不禁使他想起了漢朝被匈奴非法扣押，流放了19年的蘇武。蘇武那種忠於祖國，忍辱負重的高風亮節，無時無刻地激勵著他。
皖南事變時，有兩件反映葉挺將軍視死如歸和誓與反動派鬥爭到底的事情，很感動人：一件是扔掉了與他形影不離的心愛手杖，一件是蓄起了長發。
葉挺任新四軍軍長期間，人們看到他總是隨身攜帶著根手杖。大家對這根手杖充滿了好奇，不禁紛紛猜測起來。有人說，手杖裏麵藏有長劍；有人說，那是一枝長槍。而葉挺對人們的種種猜測總是笑而不答。有人專門去問葉挺的內勤警衛，但警衛也不明真相。直到後來，人們才揭開了這枝神秘手杖的秘密。
原來，這枝手杖是葉挺在德國時的一位友人所贈。1927年廣州起義失敗後，擔任起義軍總司令的葉挺來到莫斯科，開始了長達10年的海外生涯。其間，葉挺在德國生活了5年。雖然在德國的生活異常艱辛，但他仍然潛心研究軍事。葉挺將軍的軍事才華受到了一位德國友人的讚賞。他贈送給葉挺這枝手杖作為留念。
這枝手杖長近一米，手握的地方是個橢圓形的銅環，下麵連著長長的鋼管，鋼管外麵套有不鏽鋼的套子，手杖底端著地處是一個鋼塞。平時，它是一枝普通的手杖，在野外訓練時或戰場上站累了，隻要將橢圓形抓握的地方打開，往地上一插，就可以當凳子坐。在緊急情況下，這枝手杖還能當武器使用。隻須拉開上麵的銅環，裝上子彈，手杖就會自動跳出一個栓，擰掉鋼管朝下一端的鋼塞，手杖轉眼就變成了一枝左輪單發步槍。
葉挺將軍十分珍愛這枝特製的手杖，平時總是隨身攜帶，可謂形影不離。皖南事變發生後，葉挺向黨中央發出最後一份電文，即下令砸毀電台，分散突圍。他在去與敵人談判之前，將這根心愛的手杖扔下深淵，顯示了視死如歸的決心與氣概。葉挺軍長下山後即被國民黨軍扣留。隨即，國民黨軍隊漫山遍野搜尋他的手杖，卻一直未見蹤影。葉挺將軍的手杖從此就神秘地消失了。
前往談判被扣押後，葉挺即開始蓄發，發誓不獲自由，絕不理發、修麵。葉挺在獄中，常有國民黨要人來勸降，每到這時，特務頭子戴笠都要派沈醉勸說葉挺剪掉長發。有一次，國民黨第六戰區司令長官陳誠要去見葉挺，沈醉便又去勸說葉挺剪發。這次沈醉改換了方式，以拉家常的形式說，重慶這些日子太悶熱，許多人因為頭發長長了虱子，勸葉挺趕快剪掉長發，以免遭虱咬之苦。葉挺早已識破其用意，憤怒地說：“不獲無條件釋放，絕不剪去頭發。”