當時人們都認為，謝琰在此，必能安定地方。誰知謝琰到了會稽任職後，既不安撫士民，也不整頓軍備。當時將領勸他說：“強賊在海上，已經在整頓軍備，修整戰船，說不定什麼時候就要進攻我們。我們也應該好好準備了。”
謝琰卻不以為然地說：“苻堅有百萬之眾，尚且被我們殺敗在淝水，何況倉皇逃到海上的孫恩呢！如果孫恩再回來，正是天不容國賊，送死而已。”
隆安四年（400年）五月，孫恩率軍突襲浹口（今浙江省鎮海東南），一舉登陸成功，直指餘姚，攻破上虞，進至距山陰縣以北僅35裏的邢浦（今浙江紹興市東北）。謝琰派軍隊出戰，義軍失利。數日後，義軍再攻邢浦，打敗晉軍，乘勝向山陰進軍。
謝琰隻好親自出戰，被孫恩引誘到狹隘的山路，使官軍不得不魚貫而進，難以發揮步騎優勢。而孫恩則發揮出他的軍事才能，讓水軍沿著錢塘江逆水而上，在兵艦上猛烈射箭，大量地殺傷著晉朝官兵，水陸聯合攻擊晉軍。
結果官軍大敗，謝琰和他的兩個兒子均死於陣中。山陰之戰的勝利，使義軍士氣大振，而官軍則士氣低落。朝廷陸續派晉將對孫恩的軍隊圍攻堵截，使兩軍相持不下，不分勝負。十一月，義軍終於戰勝晉軍，使朝廷軍隊連連後退。
朝廷沒有辦法，隻得再派劉牢之都督會稽五郡諸軍事，接替謝琰的位置，組織對孫恩的抵抗。
這個時候，葉楓領著葉武、葉蟲和幾個葉家軍將領，前來會稽郡拜訪劉牢之。
聽到國寶級的人物來到，劉牢之親自領著諸將前來迎接。老遠就對葉楓拱著手說：“葉太尉啊，不知您老人家怎麼來了？末將敢不誠惶誠恐，要來早來個信啊，我好到五裏地之外迎接。”
葉楓和劉牢之早在淝水之戰中結識，對他還是頗為熟悉的，對他的所作所為，有的認可，有的不認可。葉楓板著個臉，既不親熱，也不冷淡，一副不陰不陽的樣子：“劉都督啊，還記得老夫。老夫卻有些不認得你了……”
一聽葉楓的話裏有刺，劉牢之眨巴了一下眼睛，緊緊地拉著葉楓的手說：“不知哪裏得罪葉太尉了，還請從實說來。”
葉楓帶搭不理地說：“我嗎，倒是沒有得罪，得罪我倒也是個小事。倒是……倒是……得罪的人不少呀！把老百姓得罪了。”
劉牢之已經明白葉楓話裏的意思，並不反駁，小心翼翼地牽著葉楓的手，把他拉到了會稽郡守大堂內，非要把葉楓讓到郡守的座位上。葉楓雖在他的職位之上，卻是不敢坐上這個座位，手一擺說：“你的座位，就要坐牢。老夫隻是閑來無事，拉些私事兒。”
劉牢之還是挺會來事兒，叫手下搬來一張椅子，讓葉楓坐在自己的旁邊，這才坐在自己的座位上，對葉楓謙恭地說道：“我暫時坐在這個座位上，有葉太尉給我把著舵，心裏踏實多了。”