桓衝病死了，有人提議讓謝玄擔任荊、江兩州刺史，被謝安一口否決了，他擔心桓氏失去荊、江二州的職權會不滿，但他又擔心桓氏難以控製，於是任命桓石民為荊州刺史，桓伊改鎮江州，桓石虔鎮豫州，使三桓統轄三州，彼此無怨言，各得其所。
太元九年（384年）八月，謝安起兵北伐。東路的謝玄率領北府兵自廣陵北上，一路收複了兗州、青州、司州、豫州，中路和西路的桓氏則出兵攻克了魯陽和洛陽，並收複了梁州和益州。至此，淝水之戰前秦、東晉以淮河－漢水－長江一線為界的局麵改成了以黃河為界，整個黃河以南地區重新歸入了東晉的版圖。
自古功高震主，當時專權的是司馬道子，那家夥是個野心勃勃專門喜歡煽風點火的家夥，趁機捏造罪名陷害北伐有功的人。
那天，皇帝召桓伊宴飲，謝安坐陪。席間，桓伊召來家奴吹笛，自己撫琴唱道：“為君既不易，為臣良獨難。忠信事不顯，乃有見疑患。周旦佐文武，《金朦》功不刊。推心輔王政，二叔反流言。”唱的慷慨激昂，謝安聽得淚流滿麵，打濕了衣襟，我幾次提醒他都沒理會。一曲終了，會廳上鴉雀無聲，有人麵有愧色，有人惶惶不安，謝安卻自顧自越席來到桓伊身邊，捋著胡須說：“使君的演奏真是出神入化啊！”
謝安說他想回東山，最近幾乎每天都會念叨一遍，大家都有些不耐煩，此時我也已經老態龍鍾了，甚是思念那段無憂無慮浪蕩山水的日子，就跟他說:“那就一起回去吧”，於是他開始找一些托詞交權，出鎮新城，攜帶全家前往，我們開始製造泛海的船隻和裝備，打算等到天下大體安定後，就從水道回東山。
但謝安病了，病得很重，獲準回建康治病，快到西洲門時他突然感歎壯誌未酬，悵然道：“從前桓溫執政時，我常常擔心不能保全自身。忽然有一天夢見自己乘坐桓溫的車駕走了十六裏地，看見一隻白雞後停了下來。乘坐桓溫的車駕，預兆將代替他執掌朝政。十六裏，從我執政到今天剛好十六年了。白雞屬酉，如今太歲星在酉，是凶兆，我這一病大概再也起不來了！”。
這年十月謝安病逝，他的東山是再也回不去了，看著為他哭泣的家人和朝堂文武，我突然感到前所未有的遺憾，“他是沒法回東山了，那就由我這老而不死的代他回去吧”。
一路上風輕雲淡，天氣比往常都好，秋霜染紅了路邊的楓葉，遇到山坡時我就停下來坐在樹下，回想過往的點點滴滴，看著路旁的馬車滾滾駛過，看天上白雲聚散，一時內心說不出的寧靜歡愉，這樣的時刻是多麼難得啊，能夠像樹一樣在大自然中慢慢長大，再慢慢死掉，沉入無盡的睡眠豈不快哉。
我挪到山腰一棵火紅的柿樹下，摘一個果子吃下去，甜美的滋味侵入心脾，然後躺在白石上看雲卷雲舒，不知不覺睡著了，我又夢見那些荒誕的快樂的東山隱居的日子，王羲之寫出天下第一行書的日子。