晉隆安三年（公元399年）十二月二十六日，連戰連勝的劉牢之揮師渡過浙江（今錢塘江），迫近孫恩所在地會稽。聽到這個消息後，孫天師說了一句很有大將風度的話：“我不會因逃跑而害臊（孤不羞走）！”（這句話是曹孟德在赤壁兵敗後，開溜時曾說過的名言，因此很“大將”）然後，卷卷鋪蓋，帶著男女老少共二十餘萬人，一起向東逃。他任命的幾個地方官：吳郡太守陸瓌、吳興太守丘尫、餘姚令沈穆夫等人來不及跟上他，都在山陰（會稽郡治所在地，今浙江紹興市）戰死，以身殉道。
劉牢之在孫恩之亂發生後，為何會如此積極主動地為國效力呢？從此人一生的表現來看，恐怕不是因為忠肝義膽。如果不是這個原因，那他又為了什麼呢？正確答案是：來發財！
北府軍是為錢搏命的職業化雇傭軍，戰鬥力固然強悍，戰鬥精神卻大多不怎麼高尚。早在謝玄執掌北府軍時，這支勁旅就因為搶奪輜重財物，招致五橋澤慘敗。等有較高文化修養的謝玄死後，勇略過人卻沒多少道德操守的劉牢之接任，北府的軍紀就更不怎麼樣了。
同樣是打劫，因工作場所和工作對象的不同，其成本收益率的差距是巨大的。平常的駐地京口、廣陵是北府軍的老家，多是軍人家屬，兔子尚且不吃窩邊草，當然免談。淮河以北雖然原來比較發達，但久經戰亂後，一來民風強悍，二來也確實無多少財物可搶，三來靠近北方強敵，也並非搶掠的良好場地。三吳之地就大不一樣了，不但是富庶的江南水鄉，且承平日久，民風柔弱。總之，錢多、人好欺，能不速來嗎？於是，北府軍一路奸淫擄掠，燒殺搶劫，軍紀之敗壞較孫恩軍更過。郡縣百姓紛紛逃走躲進山中，很多人直到北府軍北歸一個多月後才敢回家。知曉這一情況的孫恩，將許多金銀財寶和被裹脅的女子扔在路旁。劉牢之大軍果然為了這些東西，爭搶得不亦樂乎。就這樣，在北府軍士們精神與物質雙豐收的同時，孫恩得以率餘部從容撤往舟山群島，實力損失並不大。北府軍缺少足夠的戰船，沒有渡海攻擊，就回去了。
孫恩被打跑了，劉牢之也搶飽了，給三吳八郡留下了一地狼藉，這個收拾爛攤子的光榮任務就留給謝琰了。本月，謝琰被任命為會稽內史，都督揚州五郡諸軍事，防備孫恩卷土重來。
謝琰，字瑗度，一代名相謝安的次子。年方弱冠，便以精明幹練、風姿優美見稱。謝家人大多有類似美譽，也不知當真是基因優良，還是因門第高貴被捧出來的。眼界很高，性格孤傲，隻與宗族中有才名的幾個人交朋友，真正往來無白丁。謝安認為這個兒子有軍國方麵才幹，便讓他擔任輔國將軍。在淝水之戰中，他是晉軍主將之一，正因為他堅決主張主動進攻，才有了劉牢之的洛澗大捷，而後又與叔父謝石、堂兄謝玄一起，大破苻堅，為東晉立下汗馬功勞。由此可見，謝琰並非徒有高貴出身的無能之輩，但缺點也很明顯，智商高情商低，帶有目中無人的貴族習氣。
一轉眼，十六年過去，昔日那個出身低微的小將劉牢之已經高升當上都督兗、青、冀、幽、並、徐、揚州、晉陵諸軍事，拜前將軍，成為東晉最強大的藩鎮之一。生性高傲的謝琰的職位卻沒有多大提升，淪落到不如劉牢之的境地。不如別人也就罷了，竟不如一個昔日不入法眼的屬下，叫人情何以堪！