天威之下，誰又能與之相抗？在這個關鍵的時候，誰知道情況不妙，桓玄也不是傻瓜，此時的他早沒有了先前送詔給劉裕等人時的誌得意滿，他先是一把火點了自己這條坐船，就是因為船上有許多的糧草輜重，桓玄寧願喂魚也不留給劉毅他們，接著就裹脅了晉安帝，坐著他的小船逃跑了。當然，這其中也有他心愛的書畫等價值連城之物，在隨軍的士卒地劃水中聲，離開了火光衝天的戰場。
此時不得不說一下殷仲文這個人了，殷仲文是前任荊州刺史殷仲堪的堂弟，同時也是桓玄的姐夫，他的妻子就是桓玄的親姐姐。當初殷仲堪在與桓玄爭鬥的時候，殷仲堪敗北身死，而殷仲文那時還是司馬元顯的長史，後來桓玄率兵入建康城，殷仲文棄太守之位不顧來投奔他，從此得到桓玄的信任，在大楚一朝可以說是一人之下，萬人之上，當時隻有王謐，卞範之兩人能夠與他相提並論。
他那時棄自己的恩主司馬元顯於不顧投奔桓玄，別人都說殷仲文知進退，明事理，是個聰明人。現在，桓玄的境況有點不妙，他這心裏又琢磨開了，自己是不是應該再換一個老板啊？
到了巴陵（今湖南嶽陽）的時候，桓玄他們也要上岸補充幹糧與食水，殷仲文就對桓玄說道，“陛下，現在的情況太危急了，不如您先帶著平固王（桓玄對晉安帝的封號）先行返回江陵，臣留在後麵收集散失的兵卒，替您抵擋追兵。”桓玄聽了大喜，真是我大楚的忠臣啊。
桓玄前腳剛走，殷仲文就擄了晉安帝的嫂子何皇後與晉安帝的王皇後，先奔夏口（今湖北武漢），他這是怕離得荊州太近了，馬上給朝廷上書請罪。等朝廷下了赫免詔書後，他才帶著兩位皇後去往建康。由此可見這個殷仲文審時度勢的本領不差啊。這換老板換的時機也好，隻是他運氣不好，最後還是被劉裕找個借口給殺了。（《資治通鑒。一一三卷》）
五月二十四，桓玄帶著晉安帝到江陵。老將馮該勸他再次集中人馬，與劉毅等人一決雌雄，可惜桓玄這時候怕了，他這次出征不僅把荊州的子弟兵全部陷在崢嶸洲，現在他的手下已經無兵可用了，他也鎮不住荊州城裏的那些世家大族了，並且後麵的追兵隨時可以趕到，他也不能留在這個無兵可守的地方。他決定明早就投奔他的堂兄桓希，桓希此時是粱州刺史。
果然不出桓玄所料，在當天入城的晚上，城內就有人起兵要殺他，可是桓玄運氣好，硬是帶著一百多的親衛給逃出城出去了，這時候他身邊跟著的就隻有以前的狗腿子卞範之了，因為卞範之在桓玄得勢時，貪髒枉法就不說了，仗著桓玄對他的寵信，在建康城很是得罪了一些人，他知道自己這輩子隻能跟著桓玄混了。
經過這麼一場叛亂之後，桓玄心裏的神經已經崩得很緊了，就連自己的堂兄桓希也不大相信了。這時，他手下的相國參軍毛修之（毛璩的侄子）就對桓玄說，“陛下，不如您去投奔益州毛刺史？”桓玄思索了許久才決定入蜀投奔毛璩。
桓玄一行人到了枚回洲（江陵城西的長江上的一個小島）的時候，正巧碰見了毛佑之（毛璩的侄孫）護送叔父毛璠的棺木回荊州老家安葬，毛佑之看到桓玄這個天字第一號的大反賊在麵前，立時便下令開打，手下人箭如雨下，而毛修之則趁亂跳下江去。
桓玄手下的親信宦官撲到他的身上替他擋箭，可見桓玄也不是一無是處，隻是敵強我弱，毛佑之手下有二百多人，而桓玄手下隻有幾十人，再加上弓箭的威懾力，在這種情況下除非是老天保佑，不然桓玄絕對會輸。