畢竟是在桓家勢力樹大根深的荊州，桓振取勝後，荊州軍聲勢大振，劉毅與何無忌、劉道規雖然合兵一處，但也感到暫時無力繼續進攻，便收兵撤回尋陽，上書請罪。不久，建康朝廷的處理決定下來了：因劉毅是主帥，故承擔主要責任，免除剛剛擔任沒幾天的青州刺史一職，沒過幾天，這個職位就讓劉裕兼任了。這次戰敗的主要責任人明明是何無忌，可最重的板子卻落到劉毅身上，二劉之間隱藏的矛盾繼續加深。
桓振打退劉毅的西征軍後，又打敗了東進的益州軍，斬益州將領柳約之。桓家在荊州的統治暫時又穩定下來，但在其他地方，桓家就沒這樣的好運氣了。六月，毛璩攻克漢中，斬梁州刺史桓希（就算當初桓玄沒有改變主意，真去了漢中，好日子也不會長久），梁州失守。
更糟的是，建康方麵當然不可能對桓家重據荊州無動於衷，更何況此時晉朝的兩個中央中，建康政府已明顯強於江陵政府，隻要略假時日，劉裕所能動員的軍隊很快就會在實力上壓倒桓家軍。
“好心”的劉寄奴沒讓桓振等太久。幾個月後，建康新政府對桓家的第二次討伐開始了。鑒於桓振的確有兩把刷子，不太好對付，劉裕采用了類似於當年高祖破項羽的戰略，兵分兩路。主攻方向仍以劉毅為主帥，在得到劉敬宣的增援後，沿長江西上，連克魯山城（今湖北武漢市漢陽區）、偃月壘（今湖北武漢市武昌區西南）、巴陵，打敗老將馮該；助攻方向由南陽太守魯宗之指揮，南下進攻襄陽，還沒怎麼打，雍州刺史桓蔚便倉皇棄城逃回江陵。劉毅與魯宗之兩軍南北呼應，夾擊荊州。
桓振在江陵一琢磨，兩相比較，當然是劉毅的威脅更大。於是他於元興四年（公元405年）正月初七從江陵出發，挾持著安帝司馬德宗出江津（今湖北沙市東南），進攻劉毅。劉毅一見桓振出來了，便命全軍扼守馬頭（今湖北公安西北），堅壁以待，不與之交戰。這個戰略的妙處在於：反正現在桓家就桓振一個人能打，他總不會分身法，要對付南邊就顧不了北邊，反之同樣。
果然，北麵的魯宗之乘桓振南出的機會，大敗桓家軍將領溫楷，推進到紀南（地處江陵西北，古楚國的都城郢），而桓振麵對劉毅卻求戰不得。無奈之下，桓振派人去見劉毅，提出和談條件：桓家可以把皇帝送回建康，但要求停戰，同時讓桓家保有荊、江二州的地盤。劉毅二話沒說，一口拒絕。桓振氣得跳腳，又拿劉毅沒辦法，魯宗之在桓家後院放的火已到了非救不可的時候了。桓振隻好收兵，命桓謙、馮該防守江陵，自率大軍北上進攻魯宗之。
劉毅等的就是這個機會，桓振一走遠，劉毅立即揮軍出擊，大敗馮該於豫章口（江陵東南），守城的桓謙已經嚇破了膽，慌忙和桓蔚、桓怡等兄弟以及何澹之、溫楷等敗將一起棄城出逃，桓家大本營江陵被攻克。司馬德宗和司馬德文兄弟總算擺脫了桓家的控製，被西征軍解救出來（司馬德宗等人這次出狼窩的代價是進虎口）。
桓振到底厲害，他揮軍北擊，大敗猝不及防的魯宗之。但他知道強敵在後，不敢窮追，得勝後連忙收兵回江陵，誰知還是晚了一步。到達江陵城北不遠處時，桓振的士兵看到城頭火光衝天，知道江陵已經淪陷，各自的妻兒老小多在城中，霎時鬥誌盡喪。而且這次江陵失守與上回不同，上次江陵城幾乎沒什麼守兵，此時城中都是很難對付的北府兵。桓振方麵軍心開始瓦解，先是出現一兩個逃兵，潰逃馬上像急性傳染病，越來越多，迅速擴散到全軍，桓振縱然聲嘶力竭地嗬斥，也無法製止，桓家軍終於拋下兵器旗幟，一哄而散！
這次戰敗後，桓家軍主力盡失，殘存的幾個主要人物此後天南地北，生死茫茫。
老臣卞範之在江陵被攻陷時，不知是因為出逃不及時，還是對現實感到絕望，已經不願意再逃，被克城的劉毅軍俘虜，立即被斬首。
老將馮該在石城（今湖北鍾祥）被劉懷肅逮捕，就地處決。
曾是前秦太子的苻宏，帶著少數殘兵在各地流竄，五個月後被劉毅、劉道規等消滅。
不服輸的桓振在湖北打了兩個月遊擊，乘晉軍防備鬆懈的機會，奇襲南郡，趕走新上任的荊州刺史司馬休之，再次奪回江陵！但他手下已經沒有幾個兵了，很快，劉懷肅和劉毅的軍隊先後殺到，與桓振戰於江陵之北的沙橋。注定了失敗的沙橋戰場上，桓家最後一員猛將與部下痛飲絕命酒後拚死一戰。桓振瞪著眼睛奮力突擊，幾乎無人能擋！然而大勢已去，身邊的人很快死光，桓振畢竟沒有劉裕的本事，也沒有劉裕的運氣，在身中數箭後，被劉毅的部將唐興斬殺。桓振曾歎息自己不知身死何處，現在，知道答案了……
此後，未逃走的桓家族人基本上被殺光，隻有桓胤因是桓衝長孫，朝廷特別加恩赦免。不過好景不長，兩年後，桓胤被卷入子虛烏有的謀反案，隨後被殺。
從江陵出逃的桓謙等人，幾經輾轉後投奔後秦，被好客的後秦主姚興收留，得到暫時安全。譙國桓氏，這個曾在東晉影響力極大的名門，從此基本退出了曆史舞台。