東漢和魏晉時期，中國的社會政治結構發生重大變化，出現了一批門閥士族。
門閥士族稱霸一方，幹預中央和地方的人事，控製政治權力，是封建統治的基礎。
"永嘉"是西晉懷帝司馬熾的年號，在永嘉之前，中原地區發生過長達十六年（291-306年）的"八王之亂"。北方少數民族趁西晉內亂之際，相繼興起南下，進兵中原，入主中原的五個主要部族即匈奴、羯、鮮卑、氐、羌，史稱五胡，永嘉之亂便是史上所稱"五胡亂華"的開始。永嘉元年（307年），為了逃避北方民族的統治，門閥士族就帶領他們的家族、部曲、民戶大量流徙到江淮一帶，史稱"永嘉南渡"，又稱"永嘉之亂，衣冠南渡"，意為此次南遷雖是戰亂被迫，卻促進了南北文化交流。此次南渡，民間傳說"五馬浮渡江，一馬化為龍"，意為南渡的司馬家族將會重新建立王朝，這也就是指後來琅琊王司馬睿在江左建立的東晉王朝。
雖然南渡是為了避免戰禍，浩浩蕩蕩的南遷，在羲之幼小的心靈裏，刻下了這次大搬遷時的獨特印象，終生難忘。一路上南渡的隊伍經過了好幾條大河，而每次過河的時候都要把百姓安頓，一大批的車隊停了下來，開道的開道，推車的推車，是那麼的熱鬧。人們從車上下來，長途跋涉總是有些疲憊的情緒，跳下車來，伸展一下手腳筋，旅途的勞累也會隨著煙消雲散，這時河邊也是一大群人忙著洗東西，儲水等等。不過，那些都是大人的事，一群孩子呢，有的在用石子投水，有的則在河邊找昆蟲，各自尋找著樂子。
而羲之，則用父親給他做的那枝"筆"，在河邊的軟沙泥上，寫著母親教的宇，並時不時問問一旁忙活的諸葛夫人，諸葛夫人很滿足地教著羲之。這時，羲之發現河中一隻又一隻的鵝，羽毛整潔美麗，體態雍容華貴。它們有的浮遊，有的高歌，有的嬉戲他入迷地看啊，看啊，這是羲之最喜歡的鵝，看得很是入迷。在羲之的再三央求下，奶奶夏侯夫人才命人將在開陽城中所養的那些大白鵝也部分裝入籠中，隨南遷隊伍帶到南方去，而這段兒時的記憶卻深深地影響著他的一生。此時諸葛夫人時不時向前方隊伍的方向望去，因為其夫王曠正在前麵忙活著。聽人家談論好像王-爺又準備給王曠委以重任，她已有好些日子未見他了，在心底裏，她不想王曠再一次離開她們一家子了，因此，每一次眼中都充滿了期待。
一些時日後，王曠找到諸葛夫人商議，將王爺委以重任的事，告知了諸葛氏。因為北方戰亂不斷，已無法預料事態如何發展，琅琊王司馬睿顧及到自身及子民的安全，想讓他去找援軍鎮守南方。本來就是勝算不大的事情，但王導見王曠受到王爺的信任，所以使計讓王曠前去協商找援軍，前往淮南國，以便自己留在琅琊王身邊，以圖發展。王曠對於這件差事並不是很樂意，但又無可奈何，等到建鄴將族人稍作安頓以後，他就將要到淮南上任淮南內史之職。
南渡的隊伍還在前行的時候，北方已是一片大亂，胡人石勒南下攻究州，並州又有劉淵造反，琅琊王司馬睿及王氏兄弟都很是慶幸王曠的這個遷至江左的計策，免遭了一場戰亂。南渡的隊伍在幾天後停頓下來，在長達兩個月的行程中，人們雖嚐盡了艱辛，忽然一定居下來，卻顯得有些不適應，大概是坐在車上的時間太久，留戀上了身邊不斷變化的景色。羲之對於南渡途中的"遊玩"倒是情有獨鍾，悠遊於自然中，無拘無束，還有任其畫寫的河灘。這時又回到了高高的宅邸中，讓他感覺得有點悶。