正麵新22師的逐次抵抗打得十分艱苦。廖耀湘指揮著他的3個團交替掩護，邊打邊退，一麵消耗敵人的有生力量，一麵將日軍引向彬文那地區的預設陣地。精心設計和組織的“彬文那會戰”計劃，正在一步步地實現。
恰在此時，史迪威最擔心的情況出現了。西線英軍放棄了亞蘭謬，並一路後撤，在逃至仁安羌一帶時，被日軍第33師團一支1000多人的穿插部隊切斷退路，英緬軍第1師7000多人陷入日軍包圍。同時，東線也出現了嚴重情況，日軍第56師團從東籲轉向右側迂回，在莫契擊潰了第6軍55師，正急速向樂可、東枝方向穿插。
彬文那地區的遠征軍主力，東西兩翼都遭到了日軍威脅，情況十分危險。4月16日，史迪威在給夫人的一封信中寫道：“我想，我們很快就會在日軍的進攻麵前失敗。……我們已經盡了最大的力量，如果我們被日本人趕進深山老林，那並不是因為我們沒有努力。”18日，史迪威不得不放棄彬文那會戰，命令第5軍各部向漂貝、塔澤、敏鐵拉一帶撤退。
英國人像迷了路的孩子，一次又一次地要史迪威派部隊救援在仁安羌一帶被圍困的英軍。4月19日，孫立人率遠征軍新38師經過激戰攻克仁安羌，打退了日軍。這次戰鬥共救出英軍7000多人及被俘英軍、傳教士和新聞記者500多人，並奪回了被日本人劫獲的英軍輜重100多車。英國人一時感激涕零，但沒過幾天就全都忘在了腦後。
史迪威把他的指揮部從漂貝撤到距曼德勒約30公裏的皎克西，準備在曼德勒及其以南地區尋機與日軍決戰。但是，東路第6軍的戰況卻進一步惡化，致使整個戰局急轉直下。向東側迂回的日軍第56師團於4月20日攻占樂可，爾後向和榜方向急進。日軍的這一穿插行動，在第5軍和第6軍之間打進了一個楔子，這不僅威脅兩軍的翼側，而且使遠征軍的後方要地臘戍門戶洞開。
麵對這一嚴重形勢，史迪威急調第200師向葛魯、黑河方向出擊，並命令第6軍第93師和第49師向南曲依、萊卡一線回防，以封閉第5、第6兩軍的結合部，阻斷日軍穿插。4月23日，他親自趕到已推進至東枝外圍的第200師前線督戰指揮。他根據羅卓英的建議，懸賞5萬緬甸盧比，以盡速拿下東枝。25日，第200師奪回東枝。但是，向西回防的第6軍部隊剛剛與日軍接觸便潰不成軍，倉皇向景棟方向撤退。24日，軍長甘麗初報告，他手中已無兵可以指揮。盡管第200師從東枝截斷了日軍第56師團的後路，但該部日軍竟完全不顧後方情況，徑直以每日機械化行軍110公裏以上的速度長途奔襲，閃電般地撲向臘戍。
4月25日，史迪威、羅卓英、杜聿明與亞曆山大等英軍指揮官在皎克西召開會議。會議認為盟軍的前線部隊已陷入危險境地，遂決定放棄曼德勒，撤往伊洛瓦底江以北。隨後，史迪威和羅卓英對遠征軍部隊的行動作了部署：第66新28師由曼德勒馳援臘戍，會同新29師阻擊日軍穿插部隊；第6軍東渡薩爾溫江，向景棟方向集結；孤懸東枝的第200師，就近向第6軍靠攏；遠征軍主力包括第5軍新22師、第96師和第66軍新38師，經曼德勒北渡伊洛瓦底江，退往英多、八莫、密支那方向，據守緬北三角地區，以確保印度——密支那——昆明的空中走廊。
4月27日，史迪威從皎克西撒到曼德勒以北約80公裏的瑞波，在那裏設立了他的指揮部。第2天，他又輕車簡從返回曼德勒前線，指揮遠征軍部隊後撤。現在，重新打通滇緬路已不可能，唯一的希望就是保住印度至昆明的空中走廊。如果丟失緬北，美國對華的空運物資就隻有繞道飛越“世界屋脊”喜馬拉雅山了，那將是一條十分危險和艱難的航線。
遠在太平洋彼岸的羅斯福總統也很重視這個問題，他在4月28日致電蔣介石，明確表示：“一定能夠找到把軍火和飛機送到蔣介石委員長軍隊手中的途徑……一個不可征服的中國，不僅會在東亞，而且會在全世界，為實現和平與繁榮發揮作用。”
但是，目前的形勢卻在一步步地惡化。4月29日，倉促在臘戍布防的新28師和新29師一部被擊潰，日軍占領了滇緬路上最後一座門戶；同時，西線英軍渡過伊洛瓦底江之後，已決定放棄緬甸，正沿著耶烏至加裏瓦大道向印度境內撤退。中國遠征軍主力的兩翼再度暴露在日軍的威脅之下。
4月30日，遠征軍部隊全部撤過伊洛瓦底江，沿曼德勒至密支那的窄軌鐵路向北退卻。當天晚上，隨著一聲巨響，橫跨在伊洛瓦底江上的阿瓦大鐵橋被攔腰炸成兩截，斷口處的兩端沉重地跌入滔滔的江水之中。這雖然一時阻斷了日軍的追擊，但同時也把遠征軍關在了崇山疊嶂、森林茂密的緬北三角地帶。這時，日軍的一支機械化部隊正沿著另一條道路從臘戍向八莫和密支那奔襲，那裏是緬北遠征軍退回國內的最後通道。