1931年“九一八”事變後，馮玉祥積極主張抗日，反對蔣介石的不抵抗政策。1933年5月，在中國共產黨的幫助和推動下，與方振武、吉鴻昌等在張家口組織察哈爾民眾抗日同盟軍，被推舉為總司令，指揮所部將日軍驅逐出察哈爾省（今分屬河北、內蒙古）。8月在蔣派重兵威逼下辭職，隱居泰山。
1935年4月，馮玉祥被授為陸軍一級上將。12月，以蔣答應實行抗日為條件，在南京出任軍事委員會副委員長。
1937年“七·七”盧溝橋抗戰爆發後，相繼任第3、第6戰區司令長官，不久受蔣排擠離職，仍奔走於鄂、豫、湘、黔、川等省，積極從事抗日救國活動。
抗戰勝利後,為形勢所迫，馮玉祥於1946年以水利考察專使名義出訪美國，同時被強令退役。從1947年起,在美公開抨擊蔣介石的內戰、獨裁政策,積極支持國內人民的愛國民主運動,並以20年親身經曆,撰寫《我所認識的蔣介石》一書,對蔣的專製獨裁統治作了深刻揭露。
1948年1月，中國國民黨革命委員會在香港成立，馮玉祥當選為常務委員和政治委員會主席。隨即發起組織民革駐美總分會籌備會。7月應中共中央邀請參加中國人民政治協商會議籌備工作，自美回國乘船途經黑海時，因輪船失火於9月1日遇難。
馮玉祥戎馬一生，由士兵升至一級上將，所部從一個混成旅發展成為一支擁有數十萬人的龐大軍隊。在其50餘年的軍事生涯中，以治軍嚴、善練兵著稱。另外，馮玉祥注重愛國愛民精神教育；強調紀律是軍隊的命脈，致力整飭軍紀,並身體力行,賞罰嚴明；關心愛護士兵，要求官長與士卒共甘苦，以帶子弟的心腸去帶兵。
在軍事上，馮玉祥嚴格訓練部隊，尤重近戰、夜戰訓練和惡劣氣象條件下的艱苦耐勞鍛煉，並親自編著《軍人精神書》、《戰陣一補》等書作為教材，給士兵講課示範。在作戰指揮上強調知己知彼,速戰速決，以己之長擊敵之短,借助夜暗和惡劣氣候，運用側後突襲戰術，出其不意地打擊敵人的戰略戰術。