軍隊是國家的堅強柱石，軍隊是保障國家機器正常運作的有力武器。之所以當張法順建議如果劉牢之有貳心時，是否將其除掉時，司馬元顯並沒有答應，從這一角度而言，司馬元顯的做法明顯是對的。
當時的局勢是桓玄盡管來勢洶洶，但他也忌憚劉牢之的北府兵，而司馬元顯也要仰仗北府兵，如果臨陣換帥這是兵家之大忌。劉牢之作為一名軍事家，在戰場上與對手拚殺那絕對是佼佼者，然而，他恰恰有一個致命的弱點，那就是在政治上的頭腦簡直不如一個少年，連司馬元顯都明白的道理，他就是沒有明了。桓玄、司馬元顯加上他——劉牢之是政治博弈的一個三角，這三者中，誰也不可能一下子吃了誰，但隻要少了其中一人，剩餘二人中的一方絕不可能再容忍另一方存在，這就是所謂的一山容不下二虎，但一山是完全可以容納三虎，乃至更多的老虎的，作為北府兵統帥的劉牢之政治智商幾乎為零。在這方麵劉牢之與三國時的呂布頗為相似，空有一身本領，但不諳政事，最終導致身敗名裂。
所謂統帥也好，將軍也罷，那隻不過是朝廷任命時給的一個大印而已，大印在手，你是統帥、你是將軍，有朝一日將你罷免，你啥都不是啦。至於手中有軍隊，軍隊中的部下都是你一手栽培出來的，但得道多助、失道寡助，若是沒有個理由，部下也都會像向日葵一樣，今天你是統帥、是將軍，那你就是他們心中的太陽，明天一旦你的大印旁落，他們馬上又會對新來的那個擁有大印的人像太陽一般。當年，劉牢之反王恭而轉投司馬元顯的第一反，當時部下就有人並不讚同，但畢竟那一次司馬元顯背後代表著東晉王朝，他們反王恭好歹還師出有名，所以才有了王恭下，劉牢之上的結局；而這一次是反司馬元顯挺桓玄，盡管劉牢之心目中不是真挺桓玄，隻不過是想借刀殺人，先表麵應付桓玄後再反桓玄，如此三反，部下整個一頭霧水，能夠聽從劉牢之的就寥寥無幾啦。
形勢在變，劉牢之的策略並沒有跟著變，政壇同樣猶如戰場，形勢千鈞一發瞬息萬變，機會稍縱即逝，一旦桓玄進入京城建康，那就猶如猛虎下山，局麵已經不可能如劉牢之所設想的，扳倒司馬元顯後，再由北府兵來對抗桓玄，這隻是劉牢之的一廂情願罷了。
這時的桓玄在殺掉司馬元顯後，已經徹底擁有了朝廷的認可，皇上給予他的任命中最為真金白銀的就是丞相、都督中外諸軍事，桓氏集團的桓姓諸人都擔任了關鍵崗位的一把手，可謂是政權、軍權一把抓，這些任命盡管皇上迫於壓力內心一百個不會願意，但在桓玄的武力威脅下，大印都發了出去，桓玄接下來的行動都名正言順代表朝廷啦。
桓玄在殺了司馬元顯後，還殺了東海王司馬彥璋、譙王司馬尚之二位皇親，庾楷、張法順、毛泰等一幹反對他的人。他絕不會忘記對劉牢之的安排，在進建康前對劉牢之的口頭允諾，隻不過是政治上的手腕而已根本不可能當真，借皇帝之口剝奪劉牢之的軍權，讓其出任會稽內史才是他的本意。
劉牢之原本過高地估計了自己的實力，他以為自己可以將別人玩弄於股掌之間，沒想到這回是桓玄將自己玩弄於股掌之間了。
世界上隻有後悔藥是不可能吃的。當時自己的一念之差，才會有如此結局，假如是擁元顯反桓玄，也許就不是這樣的局麵了，但這一切都已經悔之晚矣。假如可以回到從前，東晉王朝的曆史又將改寫了，然而這一切都已經不可能了。
當劉牢之聽說去擔任會稽內史，便當廷質問桓玄是何原因？
桓玄說道：“將軍手下有百人聯名寫信檢舉揭發你的幾宗罪，你難道不知道？”
“我一心為朝廷，堂堂正正，何罪之有？”劉牢之義正詞嚴地回答。
桓玄讓人帶一個人上殿，那人一上殿都不敢正眼看劉牢之一眼，他低著頭，跪在地上，膽戰心驚地說：“劉牢之作為北府兵的統帥克扣軍糧，我們已經三個多月沒有領到軍糧了，我們……”
“放屁！”劉牢之厲聲喝道，“這軍糧是司馬元顯沒有下發，與我何幹？”
“劉將軍你先且聽他把話說完。”桓玄貌似公正地說道。
“由於沒有軍糧，在與孫恩叛賊的作戰中，劉牢之慫恿部下對百姓實行燒殺掠搶，鬧得北府兵與反賊沒有什麼兩樣；此外……此外，劉牢之還強搶民女供自己享樂……”
“夠了，夠了！一派胡言，無中生有。你是誰？抬起頭來。”劉牢之憤怒得差點吐血，他一跺腳，欲上前抓起那個小人賞他幾記耳光，但被桓玄的衛兵製止了。
“怎麼樣啊？劉將軍。”桓玄示意讓那人退下，他自鳴得意地對劉牢之說：“你想知道告狀的人是誰？他可是你的軍需史或化，總不是外人在造謠生事吧！”
“史或化？”劉牢之一時間還真沒有想起有這麼個人，他氣得胸脯一起一伏，半晌說不出話來。
“將軍，如此看來你至少有三宗罪：一是截留軍糧、中飽私囊；二是欺壓百姓、縱兵犯法；三是生活奢糜、道德淪喪。”桓玄一口氣曆數了劉牢之的“罪行”，“如此這般，你明顯不適合再擔任北府兵的統帥啦。”
劉牢之被這三宗莫名的罪行，氣得已經說不上話來，他的嘴一張一翕還想表白時，桓玄一聲“退朝！”大殿上立馬空無一人。
回到府中，劉牢之對兒子劉敬宣說：“桓玄背信棄義，一上來就奪我的兵權，看來大禍臨頭了。”便與兒子商量起兵，猶豫之中找劉裕商量。劉裕說：“將軍您當時手握雄兵數萬，卻望風降服。如今大勢已定，桓玄威震天下，朝野都已向著他了。我將脫掉軍服，回京口做老百姓去了。”
劉牢之見劉裕如此，再召集手下將佐，商議占據江北，討伐桓玄之事。參軍劉襲說：“事之不可者莫大於反。將軍往年反王恭，近日背叛司馬道子，如今又反叛桓玄；一人反叛三次，何以自立！”他一說完，就走了出去，其他人也跟著走了。
這真是有朝一日權旁落，將軍反被人“將了一軍”。沒有了軍隊的支持，見大勢已去，劉牢之開始害怕了，他派劉敬宣去京口接家屬，過了許久也不見他們回來，以為事發被殺，於是率領少得可憐的部下逃往江北，走到半路上，越想越不對勁，他生怕落得個與呂布一樣的命運，心灰意冷幹脆上吊死了。死後遺體被部下運回丹徒安葬。