鎮北將軍劉牢之此時正率數萬大軍駐防在潥洲（又名洌洲，在今江蘇南京市西南的江寧區以西，為長江中的一個小島，距離曆陽不到二十公裏）。正在軍中的劉裕看得出來，這幾天這位老帥一直是一副心事重重、患得患失的樣子，勸他迅速出擊桓玄，他也置若罔聞。劉裕可能不知道的是：就在前不久，劉牢之的一個堂舅何穆，悄悄從西邊來到了潥洲。
何穆是帶著桓玄的口信來的，他對劉牢之說：“自古以來，人臣握震主之威，建不賞之功者，誰有過好下場？如當年越國的文種、秦國的白起、漢朝的韓信，他們侍奉的都是英明之主，也都竭力盡忠，但大功告成之日，尚且都不免一死。何況你現在那個頂頭上司，隻是個既凶暴愚昧又驕傲自大的小毛孩子。所以你今天的處境，已經是進退失據，如與桓公交戰，勝了，司馬元顯要殺你！敗了，桓公要殺你！能不慎重選擇麼？如想長保榮華富貴，不如徹底改變立場，倒向桓公！桓公是大度之人，必不追究。古時管仲曾射中齊桓公的帶鉤，寺人披曾斬斷晉文公的衣袖，他們都照樣成了國家的重臣，何況桓公和你本來就無仇無怨呢？”
盡管這段說辭漏洞頗多，但卻令一代名將劉牢之動搖了，他想起不久前的事：朝廷下達了討伐桓玄的命令後，他作為前鋒都督自然要去見主帥司馬元顯商議軍務，誰料這種時候司馬元顯還對他拿架子，因為沒有預約，拒絕接見他！可司馬元顯天天酒宴不斷，竟一直沒法預約上，直到在西池的餞行宴會上，他才與司馬元顯在大庭廣眾下見了一麵，自然是什麼正事也沒辦成。這哪裏像一個即將出征的大軍統帥？
不怕不識貨，就怕貨比貨。當年侍奉的謝帥多英明啊，後來換成王恭，就覺得他目中無人，不體恤下情，自己才叛變了。誰知道這個輕佻少年司馬元顯還不如王恭。王恭至少不會在將士都忍饑挨餓的時候獨自花天酒地；在大敵當前時，王恭還能與自己結拜為兄弟，而司馬元顯還宛若無事，繼續無視自己！劉牢之感到自尊心很受傷，不禁猶豫，這樣的人還值得追隨嗎？
在司馬元顯睡不著覺的這幾個晚上，劉牢之也度過了一個個不眠之夜，各種成敗得失的算計糾纏在心中，結成了剪不斷、理還亂的大疙瘩……
直到司馬尚之被消滅後的第二天，滿眼血絲的劉牢之召集眾將，宣布了自己的決定：全軍倒戈，投降桓玄！此言一出，眾將嘩然，未經一戰，便投降叛軍，這是北府軍曆史上從未有過的奇恥大辱啊！劉牢之的外甥東海中尉何無忌和劉裕都竭力勸阻，但劉牢之就是不聽。劉敬宣也反對說：“如今，天下大勢取決於桓玄和父親兩人，桓玄倚仗其父（桓溫）、叔（桓衝）留下的資望，竊據荊楚，占有晉室天下的三分之二，所缺的隻是未能挾天子罷了。一旦放縱他入京，就沒人能夠控製，董卓之禍，必將重見於今日！”劉牢之突然歇斯底裏，對著兒子大發雷霆：“你們說的那點兒常識，我還能不懂嗎？今天要擊敗桓玄，易如反掌！但擊敗桓玄之後，司馬元顯必不容我，叫我怎麼對付！”
關於劉牢之投降桓玄的動機，傳統的解釋是：他想借桓玄之手鏟除司馬元顯，然後再幹掉桓玄，最後由自己掌握大權。不過，這種解釋似乎在某些方麵高估了劉牢之，某些方麵又低估了劉牢之。
劉牢之是個胸懷大誌的人嗎？他殺掉王恭之後，已握有晉朝最強大的武裝力量和不小的地盤，要找個機會入主京城，挾天子以令諸侯本是易如反掌的事，而且上天已經給他提供過機會：如在三年前，因司馬元顯處置不當，孫恩之亂爆發，朝廷的直轄區大半淪陷。此時劉牢之不論是乘機入京，借司馬元顯名望掃地時取而代之，還是借鎮壓孫恩的機會將三吳郡縣據為己有都不太難辦到。結果他兩者都不為，卻像土匪一樣，為了劫掠一點財物讓自己聲名狼藉，有大誌的人能幹這樣的蠢事嗎？