當年曹操攻克下邳，生擒了驍勇過人的徐州刺史呂布。曹操有意將其納為屬下，但因其反複，又有些拿不定主意，便征詢左右的意見。劉備提醒他說：“曹公不記得丁原、董卓的事了嗎？”結果，呂布就被拖下去“哢嚓”了。如今桓玄不用人提醒，王恭和司馬元顯的往事他記得很清楚。因此，差不多就在司馬元顯等人人頭落地的同時，劉牢之也接到了新委任狀：解除軍職，調任會稽內史。
一眨眼工夫，自己就變成了軍隊轉業幹部，好個“大度”的桓公啊，才過河就拆橋！劉牢之就算政治嗅覺再遲鈍，也聞出不對了：“桓玄剛上台就奪去我的兵權，大禍將至了！”正好，留在桓玄身邊作人質的兒子劉敬宣提出，願意回去做老父的思想工作，讓他一心一意服從大局，絕對聽從朝廷安排。麵對這樣“誠懇”的提議，桓玄竟然同意了，放劉敬宣去見劉牢之。說不清這究竟是桓玄的失算還是他的謀算，也許他認為劉牢之此時造反必敗，有意引誘。
果不其然，劉敬宣一見到劉牢之，立刻把原來的承諾丟到九霄雲外了，建議父親立即舉兵襲擊桓玄，不可以坐以待斃！遲疑了一陣子之後，劉牢之決定再次造反，此時距離他背叛司馬元顯，投降桓玄才過去幾天時間。
造反畢竟是一種超高風險投資，從曆史經驗來看，其血本無歸的概率遠遠超過炒作納斯達克的高科技股票。而且這也是一種不光彩的行為，反複的反叛更是對自身人格的徹底否定！不論成敗，劉牢之都將名望掃地。所以，這並不是一個輕鬆的決定啊！
但劉牢之隻能如此，因為前兩次反叛還是他自己的選擇，這回則是被逼上梁山了！劉牢之完全沒有了背叛王恭時的從容鎮定，也沒有了背叛司馬元顯時的武斷與專橫，隻能放下架子，用盡乎於哀求的口氣向劉裕，這位最能幹的下屬尋求支持。像一個溺水的人在拚命尋找可供攀附的稻草一樣，他對劉裕說：“我打算北退廣陵（今江蘇揚州市），與高雅之（時任廣陵相）會合，然後舉兵討伐桓玄，你可以和我一起去嗎？”
不知劉裕看著老帥憔悴的樣子，心裏可曾湧起萬千感慨。曾幾何時，劉牢之是晉朝寒門人士的一麵旗幟，他的存在，給所有出身不高的人帶來了希望：即使沒有顯赫的祖先，依然有可能憑借才幹和努力出人頭地！劉牢之自然也曾是劉裕的偶像和前進的標杆，而且劉寄奴能有今天，也離不開劉牢之的提攜，劉裕並不是無情的人啊！然而，劉裕還是冷靜地拒絕了老帥的乞求：“幾天前，將軍手握數萬勁旅，不能一戰，望風而降，使得桓玄得誌，威震天下。如今正是他聲望最高的時候，三軍的人情，朝野的人望，都已倒向他，還有誰肯跟著你造反？將軍如今莫說起兵，就是廣陵恐怕也到不了！恕我不能陪將軍了，隻能脫下軍服回京口去。”
東海中尉何無忌拿不定主意，問計於劉裕：“我該怎麼辦？”劉裕的回答展示了他對時勢的敏銳洞察力：“我看這一次，鎮北將軍（劉牢之）免不了一死了！你不妨和我一起放棄軍職，回京口避開此禍。這件事過去後，桓玄為了收買人心，必然會任用我們。將來桓玄如果能保守晉臣的節操，我們可以一起為他做事；如果他生異心，我們再設法算計他！”聽此一番話，何無忌認定，劉裕便是值得他此生追隨的人。兩人遂結成生死至交，離開危機四伏的劉牢之，拋棄了軍中職務，返回京口老家，白衣還鄉。
一般情況下，劉裕是一個恩怨分明的人。對他有恩的人，如劉敬宣、王謐以及從母家人等，他都照顧有加；而欺淩過他的人，他也會加倍報複。但不管報恩還是報仇，都是有前提的，都是在不涉及重大政治得失的情況下。一旦事關大局，劉裕絕不會被感情左右，總能理智地做出盡乎冷酷的決定（盡管這些決定也並不全是正確的）。嚴格來說，劉裕仍然算不上一位合格的政治家，但他已經是一名高水平政客了。他對此後時局演變的預測，準確入微，遠不是在政治上後知後覺的劉牢之所能比的。