軍事上的慘敗使桓玄遇到前所未有的困難，手下人紛紛自尋出路，出現了眾叛親離的慘像。
朝會上，馮該報了一個壞消息，一個他怎麼也想不到的壞消息：“陛下，殷仲文領著部下，保護晉廷二位皇後（晉穆帝皇後何法倪及安帝皇後王神愛），到建康邀榮去了。”
桓玄怔了，心想殷仲文是他的姊夫，是他的至親，在他最需要共度難關之際都拋棄了他，那其他人可想而知。他看著簇擁在行宮的偽臣們，一個個神情沮喪，低頭不語，各自盤算自己的命運與退路，不由擰著高聳的眉頭，深深地歎了一口氣，說：“良心啊，早讓狗吃了，一文不值。”
“皇上平時待殷仲文不薄，沒想到他是個勢力小人，可恨之極。”馮該憤怒不平地罵道。
桓玄淒然一笑，心想殷仲文到了那邊，也沒有好果子吃，他從寶座站起來，走到暗淡的軒窗前，打開一扇，傷心地說： “一榮一辱，乃見交情，由他去吧，我們多一個少一個這樣的人無所謂。”
君臣相對無語，誰都明白“楚”王朝目前處於低穀時期，停了一會兒，還是桓玄開口了：“我估計，敵人用不了多長時間，就會趕到江陵。”
“把潰卒招集起來，決一死戰。”馮該顯得倒是挺忠誠，仿佛他是“楚”王朝的擎天柱。
桓玄用眼掃一下大臣們，隻見他們一個個麵帶難色，過去攀龍附驥的興致、神采飛揚的勁頭、指點江山的激情早就不知跑到何處去了。他明智地搖搖頭說：“人情離散，難以再戰，況且我軍也沒有力量了。”
屯騎校尉毛修之是益州刺史毛璩的侄子，與桓玄貌合神離。他看到狼狽歸來的桓玄，內心是喜悅的，但他不敢流露自己的真實情感和想法，盡量把自己偽裝得同情偽楚政權。他默默地思忖良久，想出一條釜底抽薪的妙計。
他想好後，挺身而言：“陛下，大楚目前的確遇到前所未有的困難，形勢不容樂觀，但也不是無路可投，為今之計，莫過於遷都入蜀，往依梁州刺史桓希。蜀地崎嶇難行，一人把關，萬夫莫開，劉裕縱有千軍萬馬，也是鞭長莫及。等我們力量積蓄夠了，元氣恢複了，再來與劉裕爭奪江南。”
他的這番話看似為桓玄著想，看似無隙可乘，其實“包藏禍心”，他想利誘桓玄進入蜀川，趁機把桓玄剪除，從根本上弭平禍亂。
然而，桓玄不知是計，他的心腹黨羽不知是計，聽了毛修之的錦囊妙計，無不神情為之一振。桓玄的臉上頓時換上一副難得的笑容，重新端起皇帝的架子說：“毛卿所言不失為一條妙計，各位還有什麼高見？”
群臣覺得也隻有退到蜀川這條路了，因而都默默無語。
“沒有的話，回去準備一下吧。”桓玄的話就是金口玉言，即使誰有別的想法，也變成悶葫蘆，更何況當時他們也確實沒有別的好主意。
傍晚，桓玄撇下倒黴的安帝，攜著家眷，撤出江陵。不殺安帝不是桓玄心眼好，而是他顧不上，或者覺得沒有必要落弑君的惡名。
他們走出城門，遇到一股叛軍的襲擾，這股叛軍要活捉他，準備向劉裕邀功請賞。
桓玄讓馮該帶隊抵抗，漆黑的夜色帶來許多不便，也不知道對方有多少人，雙方在黑暗中叮叮當當廝殺一陣子，互有死傷，屍首盈途。
桓玄顧不上這一切，策馬飛到江邊，匆匆忙忙登上早已準備好的船隻。
卞範之在後邊踉踉蹌蹌趕上來，滄然地說：“陛下，馮將軍不知去向，我們是否等一下？”
“是非之地，不可久留，在此等候，萬一再出現一股叛軍，我們如何抵敵？”毛修之心中有鬼，在一旁顯得非常不耐煩。
桓玄想想也對，時間不饒人，便問毛修之：“依你之見？”
“起錨吧，忠貞的馮將軍脫險後，自然會打聽我們的行蹤，即使千裏之遙，也會去依附，陛下不用擔心。”毛修之假戲真演的本事到了很高的水準，說的話全是替別人著想。