盡管沒能得到劉裕的支持，劉牢之仍召集其他屬下，宣布了自己打算據守江北，討伐桓玄的決定。如果說他在幾天前背叛司馬元顯的決定已經讓眾將跌破了眼鏡，現在的聲明則更遭到了部下幾乎一致的強烈反對。
早在洛澗之戰時就追隨劉牢之的參軍劉襲不顧多年交情，當麵斥責上司：“這個世上最不能做的事就是背叛！將軍在幾年前背叛了王兗州（王恭），近日背叛了司馬郎君（司馬元顯），現在又要背叛桓公！一個人三次背叛，還有何麵目立於天地間？”說完，完全不給老帥麵子，起身離開大營，很多將佐也跟著他一起離開，人一下子就走了差不多一半。劉牢之傻了眼，這回真是人心散了，隊伍不好帶啊！
難帶還得帶，惶惶不安的劉牢之讓兒子劉敬宣潛回京口，把家屬接出來。同時帶著他剩下的部屬往東北走，向廣陵方向撤退。劉牢之此時在北府軍中的威信已經喪失殆盡，部下一路走，一路散，人越來越少。到了和劉敬宣約定會合的地點，劉敬宣卻因為那天大霧，城門延遲數時辰才開而誤期未到。一時間，不明原由的劉牢之以為事情敗露，兒子可能已經被殺了！一連串的打擊，讓他五內如焚，傷痛莫名，精神幾近崩潰！渾渾噩噩間，帶著餘眾繼續走，最後幾個下屬看他這副恍恍惚惚的樣子，倍感寒心，知道老帥這次真是沒救了，還能跟著他尋死麼？待到新洲（建康北麵長江中，今八卦洲）時，剩下的人差不多也都跑光了！
四顧茫然，劉牢之突然清醒過來：自己已經無路可退了！劉裕說得果然沒錯，我連廣陵都到不了啊！我劉牢之竟也有今天！
此時正值陽春三月，春風又綠江南岸，空氣中彌漫著野花的芬芳，但劉牢之已經聞不到了，他的心裏已是肅殺的寒冬。百戰老將悲從中來，走到一棵大樹旁，用一根繩索結束了自己的生命。曾經的光榮與夢想，所有的罪過與悔恨，都化做過眼的煙雲，萬事皆休。
過了一陣子，遲到的劉敬宣趕到新洲，發現老父已成亡魂，顧不得哀悼，也來不及給父親收屍，便匆匆忙忙渡江，逃往廣陵。虧得劉牢之的部分故吏念及往日情意，一起買了棺木將他的靈柩送回丹徒安葬。
幾天後，桓玄聽說劉牢之已死，大喜之餘，下令挖開其墳墓，將屍體拖出斬首，然後曝屍於市！接著，桓玄乘勝追擊，開始對群龍無首的北府舊將們進行大清洗：吳興太守高素（可能是高雅之的父親）、將軍竺謙之及其堂兄竺朗之、麵斥過劉牢之的參軍劉襲、劉襲的弟弟劉季武、劉裕的老上級孫無終等人，相繼被殺害！從這一係列舉動可知桓玄對劉牢之和北府軍的忌諱之深，更彰顯了劉牢之投降桓玄的做法是何等愚蠢。揚揚得意的桓玄宣布大赦天下，改年號為“大亨”。這一年晉朝有三個年號，分別是元興元年、隆安六年、大亨元年。
麵對這種情況，暫時不在桓玄控製中的北府將領及道子黨的殘餘們，根本不相信大赦天下能赦到他們，隻有聯手反抗了。劉襲的兄長冀州刺史劉軌、司馬尚之的弟弟司馬休之、劉敬宣、高雅之，還有袁虔之、劉壽、高常慶、郭恭等人，先到廣陵，再逃到山陽（今江蘇淮安縣），同時派遣使者向後秦求援，企圖討伐桓玄。但人心已散，加上後秦姚興正好在柴壁之戰中大敗於北魏拓跋珪，根本無力支援。麵對桓玄軍隊北上，眾人無計可施，隻得各自逃亡。其中劉軌、司馬休之、劉敬宣、高雅之逃奔南燕，袁虔之、劉壽、高常慶、郭恭逃奔後秦，由謝玄創建的北府軍政集團暫時瓦解。
至此，在原北府的高級將領中，隻有劉裕、何無忌等少數幾人因為早早辭去軍職回鄉，既和劉牢之劃清了界線，又顯得沒有擁兵自重的野心而大得桓玄歡心。桓玄很清楚：要實現穩定的統治，光靠揮舞大棒顯然不行，胡蘿卜也得適時出手。一方麵打擊反對派，一方麵也得樹立榜樣，而劉裕各方麵的表現都使他成為此時桓玄最需要的正麵典型：既是常勝名將，又有愛民的好名聲，又沒有野心（這點最重要，雖然桓玄其實是看走眼了），雖出身北府卻不是劉牢之等人的黨羽，獎勵他正好可以安撫忐忑不安的北府餘部。總之，這樣合適的人還能不重用麼？
於是，劉裕的又一條預言應驗了：“今方是玄矯情任算之日，必將用我輩也。”大亨元年（公元402年）五月，劉裕辭職回鄉之後僅兩個多月，就被桓玄征召起用，任命為撫軍中兵參軍，前往東陽（今浙江金華），討伐孫恩的餘黨盧循。