五月二十三日，桓玄逃回了江陵。曾經在東垣擊斬前秦皇帝苻丕的老將馮該，勸桓玄集合兵力，再次率軍東下，與晉軍決一死戰，如困守江陵，隻能是坐以待斃。但桓玄的勇氣已經在崢嶸洲之戰中用完了，而且大敗之後，眾叛親離，該死的殷仲文就是證據，在此情況下，要想整兵再戰，恐怕也太不現實了。因此，桓玄沒有接受馮該的建議，也沒打算守江陵，他的決定是繼續逃跑。
第二天，也就是五月二十四日深夜，桓玄準備停當，打算乘著夜色偷偷摸摸地逃走。但誰知保密工作做得不好，城中人聽說皇帝要跑，人心大亂，開始出現無政府狀態，散兵遊勇與地痞流氓肆無忌憚地打家劫舍。桓玄隻帶著心腹衛士一百多人乘馬從西門出城。走到城門口時，左右心腹中突然有人想殺桓玄，揮刀向大楚皇帝頭上猛砍！但因為天黑，能見度太低，並沒有砍中。混亂中，誰也不知道發生了什麼事，衛士們為求自保，相互砍殺，留下一地屍體！
桓玄還算命大，狼狽逃出城門，勉強逃到碼頭上船。楚朝各位大員們已然星散，隻剩下卞範之還跟著他（桓玄的兩大心腹，此刻終於分出了高下）。另外在一起的，還有他的兒子桓升、侄子桓浚、堂兄桓石康、將軍庾頤之、弄臣丁仙期、萬蓋以及一個不知從哪裏冒出來的屯騎校尉毛修之。連一直以來，總被桓玄當做護身符帶在身邊的安帝司馬德宗，都顧不得管了。
雖然逃跑已經是大楚皇帝的既定方針，但要執行這個方針，還存在一個重大理論課題：現在往哪兒逃？桓玄最初的打算是逃往漢中，投奔梁州刺史桓希，但稍後發生了一件很奇怪的事，他聽從了毛修之的建議，改投益州。
我們知道，益州刺史毛璩早在桓玄稱帝那一天起，就不承認他這個大楚皇帝，起兵反桓，動手比劉裕還早，此時去益州，豈不是自投羅網？桓玄如果想自殺，留在江陵也辦得到，起碼還靠近祖墳，沒必要跑到四川去送死吧？因此，史書在這裏，很可能漏載了重大史實。
那個時候究竟發生了什麼事，因為史料的缺乏，已難以確知，但可以用另一段類似的曆史來進行推測：
晉大興元年（公元318年）七月，漢趙（國號是“漢”，劉曜繼位後改稱“趙”，史稱前趙）昭武帝劉聰駕崩，太子劉粲繼位，大權被大將軍、錄尚書事靳準掌握。九月，靳準殺死劉粲，挖了劉淵、劉聰的陵墓，盡屠在平陽（今山西臨汾，漢趙首都）的劉氏宗族，自號“漢天王”。這麼一來，自然引起漢趙兩大地方實力派的強烈反應，控製關中的劉曜和稱雄關東的石勒一起起兵，宣布討逆。
這兩位中的任何一個靳準都招架不了，何況兩個一起來，靳準自然是節節敗退。其中石勒進軍尤其迅速，直逼平陽。劉曜害怕石勒成功滅掉靳準，淩駕於自己之上，於是欺騙靳準派來的使臣卜泰說：“先帝（指劉聰）末年確實犯了很大的錯誤，司空（指靳準）行伊尹、霍光之事，讓朕即位本是莫大功勳，如果能早點迎接大駕，朕將把國家大政都托付給他，豈止是免死！”靳準雖然沒來得及投降就掛掉了，但繼立的靳明果然帶著傳國璽投降了劉曜。劉矅這一招，終使自己後發而先至，搶在石勒之前拿下平陽。得手之後，他立即食言，將靳氏家族全族殺光。
比較兩段曆史，可以發現略有幾分相似之處：靳準、劉曜、石勒這三個主角，現在分別由桓玄、毛璩、劉裕三人來扮演，毛璩很有可能套用了劉曜故智。這並不是沒有依據的瞎猜，因為向桓玄提議投奔益州的毛修之正是毛璩的侄子。毛修之究竟是原來就跟隨在桓玄身邊，還是剛剛才來的，史書沒有明說。但按常理推斷，毛璩既然早就起兵反楚，桓玄不大可能把他的侄子放在自己身邊，所以他可能是毛璩派遣來的使臣。