王導、郗鑒、庾亮相繼過世，王羲之作為庾亮的部屬，郗鑒的佳婿，王導的侄子，受到了他們的賞識與推舉。族叔王導曾寫信給王羲之，舉薦羲之任侍中之職，王羲之推托道："吾素自無廊廟誌，直王丞相時果欲內吾，誓不許之。"
最後，王羲之於340年江州任刺史，軍號寧遠將軍。羲之本來對於出任江州並不熱衷，他隻是想借江州之任遠離京師。對他而言，京城不過是繁華的政治是非之地，隻是似乎朝中朝外都缺少舉足輕重的人物，他對自己是否能擔當起這個重任還不是很自信，因為畢竟還有寧遠將軍這個武職，需要治民兼領兵，他對自己的軍事才能有點懷疑。其次，還有一個原因，庾氏子弟庾懌認為江州與荊州是庾氏起家之地，不應讓與外姓，在羲之上任前，江州刺史是由族兄王允之擔任的，而這個庾懌卻一直想趕走王允之，於是便給王允之送上了美酒，實為毒酒，想趕走王允之。那王羲之怎麼又上任了江州刺史之職呢？王羲之本是由庾亮舉薦到江州的，再說王羲之與庾氏兄弟庾冰、庾翼交情都不淺，王羲之出任江州刺史之職是庾氏兄弟所希望的。
江州的地理位置極其重要，是沿江三大州（荊、江、揚）之一，下轄豫章、鄱陽、廬陵、臨川、南康、晉安、建安、武昌、桂陽、安成、潯陽等郡。江州作為建康以東的最後一道屏障，連接上遊的西蕃，屬於重要的軍事要塞，如果西蕃與東晉王朝發生戰端，江州既是作為第一道戰線也是最後一道防守線。江州在一段時間內都作為權利爭鬥之地，溫嶠、陶侃都曾鎮守過江州，並曾在此發生過江州事件。另外，在庾亮、王導的權利鬥爭中，江州也是被爭來奪去。最後，江州由王羲之任刺史也許是庾、王爭鬥江州地盤的一個緩衝，隻是王羲之在江州任職的時間並沒有太長，江州地盤又回到庾氏的手上，由庾冰、庾翼先後出任。
羲之赴任江州，江州刺史的府邸在廬山山腳的潯陽江畔。潯陽城背靠廬山，麵對潯陽江，風景自是不用說。到江州安定下來後，羲之就急著叫人特地建了一個小池，自己親自題字，上書"鵝池"。這是羲之用來養鵝洗硯的，這都已經成了羲之的習慣了。池邊上壘上一些從江邊找來的鵝卵石，池畔栽上不少的修篁，一片幽雅之地，裏麵十幾隻紅冠白羽的壯鵝嬉戲於池中，發出吭吭的啼叫。羲之閑來之時便喜歡到鵝池邊與鵝嬉戲，觀看群鵝優哉遊哉怡然自得的姿態，或者模仿著鵝的叫聲將鵝喚到身邊，鵝聽到聲音會先聆聽一會，然後便款款地遊向羲之。羲之突然站起來，鵝便一陣驚開，然後又靠攏來，羲之小跑一陣，鵝們拍騰著雙翼向羲之追去，伸著長長的脖子，一搖一晃甚是漂亮！羲之每次忙完政務，都喜歡來到鵝池邊看群鵝嬉戲，忙政務時的那種不好的心情，一下就得到了釋懷。
或者拿上筆墨紙硯，擺於鵝池旁邊的亭中，興起之時揮筆而就，甚是暢快，淋漓盡致。隻是，羲之來鵝池邊的時間不是很多，政務早就忙得他焦頭爛額了。
王羲之到江州上任之時，庾翼正積極安排北伐，王羲之在江州上任後的重要政務便是替他征兵調糧。征兵調糧這樣幾件事做起來很是棘手，糧食還好，江州好歹是一個富饒地，隻是征兵就有點問題了，兵源本就缺少，現在卻要大量征兵，庾翼是憑借自己的兵權動用豪門巨室的兵役奴，而自己又能怎麼辦呢，自己屬下的各郡太守，早就暗中阻撓，甚至到建康告狀。羲之忙得焦頭爛額，應征的兵員卻還不足一半，根本就無法交差，於是連連上章，堅決辭官。王羲之是一個一心想為民辦事的正直人，對於這些勞民殘民的政務他早就不想做了，庾冰不得不準許他辭職回建康。
回到建康後，朝廷對王羲之另任以官職，但他"皆不就"在這段時間裏，王羲之短暫地回避了官場。羲之早聞李斯、曹喜、梁鵠、蔡邕、張昶等名家的書學之名，一直想找個機會，北上遊曆一番，一睹名家書跡。這段時間不是正無政事嘛，於是決定北上尋找點書帖。和夫人郗璿一番商議，才征得郗璿的同意，因為畢竟北上路途遙遠，而且又是戰亂不斷，夫人郗璿很是擔心，隻是見羲之對書法這般的癡愛，才不得不尊重羲之的決定。
羲之帶上一個身手較好，又熟知北方胡人的隨從，直接北上。他已經離開故土琅琊多年，於是第一站便準備回琅琊，順便可以前去泰山。回到故裏先是回到南仁裏老家，家中隻有幾個老奴仆照看家園，他隻在家中逗留一天，四處走走，便離開了。來到開陽城的袓上留下的故宅中，自南渡以後，開陽便隻留下兩個族伯，羲之因為時間緊張，也隻在開陽留了幾天，便準備到泰山遊覽。
經過幾天的行走，羲之與隨從來到了泰山腳下。時值秋高氣爽，正是遊覽泰山的好季節。站在泰山腳下，王羲之看著聳立在天地之間，雄偉壯麗，氣勢磅礴的泰山，自覺人生渺小，自然的神奇博大。沿著當年孔子、秦始皇他們所走過的中穀上山，一路邊觀泰山之景，邊攀登泰山，爬至泰山之巔，突然領悟到了古人所言"登泰山而小天下"的感受。羲之四處瀏覽，突然發現了《封泰山碑》矗立在突兀的巨石玉女峰附近，於是疾步跑過去觀看。王羲之對略懂書法的隨從道："此乃秦始皇封禪泰山後所製，由丞相李斯用小篆書丹上石。石高四尺五寸，廣一尺四寸，四麵刻，三麵為始皇詔，一麵為二世元年（公元前209）詔與從臣姓名。記述了秦始皇封禪大典及秦始皇東巡的經過，歌頌秦始皇功德。通篇為鐵線篆書，凝練厚重。"隨從聽聞羲之一說，不知不覺中感到有所悟性。隨即拿出隨身帶的紙將石碑原跡拓印下來，王羲之趕緊揣入懷中，猶若至寶。王羲之曾聽說泰山山下的岱廟是道教聖地，特別是裏麵還立有《衡方碑》，是漢代衡方（字興祖）所造，於是決定前去一看。二人來到山下岱廟遊覽，羲之一眼便看見了《衡方碑》，按捺不住心中的喜悅，於是開始向隨從大加講解起來："此碑全稱《漢衛尉卿衡府君碑》，東漢建寧元年（168年）九月立，碑字結體寬博，筆畫肥厚古拙，方圓兼備，風致高雅，體勢雄偉。在章法布白上，行密格滿，與《史晨》、《曹全》相異趣。碑額陽文隸書，尤有氣魄，結體嚴整，筆畫圓勁，看似平正而神采飛動，大巧若愚，對當今楷書影響很大。"羲之一口氣講了下來，隨從知道羲之很喜歡這塊碑文，便隨即將碑文拓印下來，以便帶回家中再作研習。王羲之說："此次來泰山不虛此行啊，看到了《封泰山碑》與《衡方碑》，此乃一大快事。"