西安事變給予趙壽山思想上以深刻影響。1937年7月7日盧溝橋事變爆發後，楊虎城回國即被蔣介石逮捕，趙壽山對此極為不滿。蔣介石以抗戰為名，命令第38軍各師分別開赴華北抗日前線，趙壽山率領第17師從陝西三原出發赴前方抗日。在駐防三原期間，趙壽山同任弼時、王稼祥、彭德懷、賀龍、徐向前、左權、楊尚昆、陸定一等經常來往，還同彭德懷等合影留念。彭德懷曾同趙壽山作了3天長談，詳細分析了當時國內外形勢，介紹了共產黨各項方針政策，趙壽山的思想覺悟得到進一步提高，並提出希望加入中國共產黨的要求，他還給紅軍支援了大量軍備物資和武器彈藥。
1937年10月，趙壽山奉命率第17師扼守山西娘子關正麵陣地，與具有絕對優勢的日軍展開血拚，他臨危不懼，親自帶領官兵與日軍血戰十多個晝夜，部隊遭到重大傷亡，損失慘重。太原失守後，山西境內國民黨軍隊紛紛向晉東南潰逃，趙壽山也被迫率第17師殘部轉移，到達離石縣磧口一帶，在八路軍河防部隊蕭勁光旅的幫助下進行整訓。在此期間，趙壽山來到延安，受到毛澤東、朱德等黨中央領導的熱情接待，趙壽山堅定了抗日信心，並表示接受第2戰區東路軍朱德、彭德懷的指揮。
1938年秋，原楊虎城的第17路軍編為第38軍和第96軍兩個軍。趙壽山被蔣介石任命為第38軍軍長，率部進駐平陸縣，背靠黃河，麵向日軍，開展了長期的征戰。同年冬，趙壽山接受共產黨的主張，在駐地舉辦訓練班，改造舊軍官，培養新幹部，對所屬幹部灌輸“一致對外、團結抗日”的革命道理，部隊的思想觀念發生了深刻變化，在此基礎上發展了一批共產黨員，在中共第38軍地下工委的指導下，師、旅、團均建立了共產黨的組織。
1939年6月，日軍集中兩個師團兵力配山野炮兵兩個聯隊，在30多架飛機配合下，分9路向趙壽山鎮守的中條山發動進攻，企圖壓迫第4集團軍於黃河岸邊截為數段而殲之。在守衛中條山的戰鬥中，趙壽山率38軍采取靈活機動戰術，繞敵背後，迂回側冀，依托中條山東段根據地，與敵周旋，取得了重大戰果。趙壽山率部頑強固守兩年多，先後10餘次粉碎日軍的大“掃蕩”，保住了原有陣地。進攻中條山的日軍部隊陸續補充新兵達19次，中條山陣地仍牢牢控製在趙壽山的手裏，始終未失。國民黨為防止38軍“赤化”，派來大批政工人員，監視共產黨的活動和趙壽山的行動，最終，蔣介石發現38軍有受到共產黨“赤化”的跡象，對趙壽山極為惱怒，遂下令將38軍調離中條山，開拔至黃河以南的鞏縣、汜水、滎陽一帶集結。趙壽山率部撤走不到半年，中條山很快即被日軍占領，國民黨集中在中條山的7個軍被日軍打垮，高級將領數人陣亡或被俘，晉南地區全部淪入日軍之手，國民黨第一戰區司令長官衛立煌不無感慨地說：“38軍是中條山的鐵柱子。”當時在秦、晉兩地流傳著這樣一首民謠：“趙壽山、李興中，率領陝西冷娃兵，中條山上打日寇，嚇得鬼子一溜風……”
中條山戰役，不僅使中國腹地的千萬百姓免遭日寇鐵蹄蹂躪，更阻止了日軍打通西北、西南大通道，為日後的戰略反攻創造了重要機會，趙壽山作為主要指揮將領是功不可沒的。
蔣介石消極抗日，積極反共的態度愈加明顯，特別是1941年的“皖南事變”之後，趙壽山更加看清了蔣介石推行“攘外必先安內”政策的險惡用心，感到國共合作前途渺茫，決心投向共產黨。1941年底，中共中央批準了他的入黨請求。
1944年3月，抗日戰爭進入關鍵階段，蔣介石以明升暗降的方式“抽梁換柱”，調趙壽山到甘肅武威第3集團軍擔任空頭司令，而派嫡係親信張耀明接替38軍軍長。趙壽山識破了蔣介石“分編遣散”的陰謀，在離開38軍之前作了秘密布置，委托孔從洲掌握部隊。得知趙壽山調任武威的消息，毛澤東、周恩來專門派了保健醫生，從38軍選派十餘名黨員幹部隨去工作，並負責他的安全。臨行之前，周恩來轉告趙壽山：“要時刻與38軍黨內取得聯係，一旦形勢變化，便於指探。”趙壽山赴甘肅武威上任後，在國民黨特務的監視下，仍然堅持和黨組織的聯係。遵照黨中央、毛澤東的決定，第38軍所屬部隊於1945年7月在河南洛寧起義，投奔解放區。以後以這一部分隊伍為基礎，成立了西北抗日民主聯軍第38軍，由孔從洲任軍長。
第38軍所屬部隊起義之後，趙壽山的處境愈加險惡。1945年春，趙壽山向蔣介石提出辭去第3集團軍總司令職務出國考察水利的請求，1946年2月獲準。趙壽山卸任第3集團軍總司令後，前往南京、上海，然後在共產黨秘密護送下由上海經北平於1947年3月進入晉冀魯豫解放區。7月6日，趙壽山發表反蔣通電，表示脫離國民黨反動統治，回歸人民的懷抱。