王羲之和手下的大小官吏早已氣得臉色發青，這哪裏是視察，簡直就是無理取鬧嘛，長期下去可怎麼受得了？但王述是長官，在這麼多下屬麵前，王羲之也不好和他爭辯，隻好把這口悶氣憋在心裏。
王羲之心想：“這個癡兒不會善罷甘休，隻要在他的手下一天，就要受一天這樣的氣，幹脆跟上麵申請把我調到其他地方，隻要脫離他的管轄就好了。”
下定決心以後，王羲之立刻上書請調越州。這份請調的公文自然要經過王述，王述看到了這份公文，冷笑了一聲說道：“想走？沒這麼容易，誰讓你當初那麼驕橫，裝清高。現在知道怕了吧，哼！現在你就受不了，好戲還在後頭呢！”
王述把公文壓下來後，放出消息說：王羲之或許有些什麼把柄，怕被王述抓到，想趁著事情尚未被揭發之前一走了之。這種謠言被一些趨炎附勢的小人所利用，拿來攻擊和譏笑王羲之，王羲之認為這種情形如果繼續下去，自己一定會被弄得身敗名裂。他時常對他的幾個兒子說：“我一點兒不比王述差，但是職位卻比他低很多，難道是因為你們不如他的兒子嗎？”
在當時，還有一件可怕的事情正在醞釀著，那就是各大家族間的鬥爭將會越來越尖銳和明朗化，結果必將導致國家衰亡。腹背受敵的王羲之此時並沒有看出。
原來東晉政治勢力上擁有決定性力量的四大家族王、謝、袁、蕭中的王氏一族，自從丞相王導、大將軍王敦相繼去世後，力量頓顯單薄，而謝姓家族的力量卻慢慢地崛起了，漸漸地有取代王氏的野心。一直以來王氏當初的勢力太大，壓得其他的各姓家族抬不起頭來，現在力量減弱了，各姓正好乘機而起。因此，王氏家族的人漸漸地受到排斥和敵視，謝姓家族開始聯合其他家族的勢力，準備要取代王氏家族的地位了。
王羲之曾對族人說：“國家由誰來主持政治都無所謂，隻要他確實有才能，能為國家百姓謀求福利，不管他姓什麼，我都會擁護他。”
族人反駁王羲之說：“你別忘了你也姓王，如果有人想消滅我們，你的下場又會如何？難道你要站在敵人的陣營嗎？”
王羲之很沉痛地回答說：“國家局勢如此不安，國內政治又是如此地不穩，歸根結底一句話，那就是大家太自私，動不動就分‘你們’‘我們’，一個國家還分這麼多的派係，而且每個派係都想獨大，想盡辦法去消滅其他人，這樣子下去，國家怎麼能安定呢？”可是除王羲之之外，有這種眼光的人在當時似乎一個也看不到。