在蔣介石的步步進逼下,蔣馮矛盾日趨激化。5月13日,蔣複電馮玉祥稱:"前此一、二兩集團軍發餉未能一致,純為環境關係,非有畛域存在","比來謠諑紛紜,影響大局,誠宜謀一根本止息之法","綜合今日造謠致疑於兄者不外三點:(1)謂兄購買軍械,積儲糧秣,而謀割據西北,反抗中央;(2)謂兄縮短防地,圖攻燕晉,而謀勾結蘇俄,另設政府;(3)謂兄拒絕來京,聯絡桂係,而謀進攻武漢,別創新局"。"吾人對症發藥,惟有望兄供職中央,而不逗留於西北一隅,則萬謠盡息,人心亦定。"15日,馮致電蔣例舉不能赴寧的理由,指責蔣排斥異己,窮兵黷武,並稱如蔣於"奉安後擬通電謝職",則"願追隨驥尾,攜手同去"。本月中旬,馮玉祥在陝西華陰召開會議,決定收縮戰線,將山東、河南駐軍西撤潼關,成立護黨救國軍西北路總司令部,自任總司令,公開舉起反蔣大旗。16日,馮軍將領劉鬱芬、宋哲元、孫良誠、韓複榘等通電促蔣下野,並宣稱擁護馮玉祥為"護黨救國軍"西北軍總司令,統50萬大軍與蔣周旋。同日,馮軍孫良誠部撤離商丘,炸毀楊集路橋及馬牧集至劉堤圈間大小橋梁各2座,並拆毀枕木、電杆等。蔣介石致電馮玉祥質問此事,馮不予理睬。17日,馮軍繼續炸橋扣車,孫良誠部炸毀馬牧集至商丘間隴海路橋28座;韓複榘部全部撤出信陽,炸毀信陽以北長台關鐵橋,帶走車頭、車廂300多輛;龐炳勳部亦撤離安陽,炸毀洹水鐵橋第3號,並將沿路機車車輛帶走。19日,黃河以北馮軍全部撤至南岸,集中滎陽、鄭州等地,並拆毀黃河鐵橋第54和第57孔。20日,蔣介石致電馮玉祥,令其嚴厲處分劉鬱芬等,即日恢複隴海、平漢兩路交通,並指定地點約期晤談。21日,國民政府五院院長譚延閩、胡漢民、王寵惠、戴季陶、陳果夫聯名發表通電,宣布擁蔣反馮,表示"此次西北叛將之動亂,托詞於山東接防。夫山東為中央所轄之省區,孫良誠為中央任命之官吏,不遵令接防之不足,複自由離職。自由離職之不足,複席卷款械糧秣。……而劉鬱芬等人又巧避叛變之名,集矢主席,通電皇張,等於狂囈,舉刃相向",表示願"隨蔣主席之後,完成總理之遺誌,削除黨國之奸頑,力振紀綱,義無反顧"。22日,韓複榘、石友三被蔣收買,叛馮投蔣,通電"擁護中央,待罪洛陽,靜候命令"。23日,國民黨中央第14次常務會議決議永遠開除馮玉祥的黨籍,並革除其中央委員、政治會議委員、國民政府委員各職;所有下討伐令以及關於軍事與緊急之政治處置均由國民政府全權辦理;對劉鬱芬、孫良誠、韓複榘等懲戒問題決定由國府先行免職,待調查後再分別處理。24日,國民政府下令查辦馮玉祥,稱:"馮玉祥背叛黨國,逆跡已著,無可再予寬容。馮玉祥應即褫去本兼各職,著京內外文武機關一體協緝拿辦,以安黨國而彰法紀。"馮玉祥複電蔣介石,稱:"大局崩壞至此,和平統一,徒成虛語,誰實為之,孰令致之,明達如公,當知症結所在。"懇請蔣赴陝以明下情。同日,何應欽、劉峙、朱紹良、張發奎、賀國光、顧祝同、魯滌平、譚道源等60餘將領電請蔣介石討馮。25日,蔣介石致電馮玉祥,指責其"於公為作亂,於私為背信",勸其下野出洋。馮玉祥內外交困,27日,通電宣告下野,文曰:"玉祥養屙華山,深居簡出,嚐惴惴焉以國危民困,萬不可再有內戰,以自取覆亡,不料區區苦衷,複不見諒於友,謠言紛起,岌岌若不可終日,……謹潔身引退,以謝國人。自5月27日起,所有各處文電一概謝絕。從此人山讀書,遂我初服,但得為太平之民,於願足矣。"但從此與蔣隔閡愈深。