宵旰至今勞聖主，淚痕空對太平花。
——《太平花》
陸宰一家人口眾多，行動遲緩，一路上遇到的困難可想而知。當他們渡過淮河到達壽春（今安徽壽縣）時，在那裏停留了一段時間，作短期休整。在壽春，陸宰聽到了開封陷落、徽欽二帝被俘北上和高宗即位的消息。他盼望局勢能逐步好轉，可是從前線傳來的消息卻令人失望。戰火在迅速蔓延，金兵在繼續南侵。他們的野心越來越大，企圖一舉征服全國。江淮流域已經變成戰場，不再是人們的避難所了。於是，陸宰隻得帶著全家老小繼續向故鄉逃亡。他們跋山涉水、“渡淮絕江”，有時與成千上萬的難民同行，有時則夾雜在潰散的官軍之中，人人心驚膽戰，唯恐被敵兵追上。一路之上，風餐露宿，受凍挨餓，曆盡艱辛。陸宰一家在淮河岸邊險些遇到了敵人的追兵，他們慌忙躲進偏僻的草叢中，藏了一天一夜，才得以脫險。逃亡途中，常常十天半月也吃不上一頓熱菜熱飯，能吃上一口幹糧就算不錯了。這時陸遊已漸漸懂事，他在回憶這段危險艱苦的生活時寫道：
我生學步逢喪亂，家在中原厭奔竄。
淮邊夜聞賊馬嘶，跳去不待雞號旦。
人懷一餅草間伏，往往經旬不炊爨。
……
——《三山杜門作歌》
經過長期顛沛流離的生活，陸宰一家終於回到了山陰故居。對於年幼的陸遊來說，這是初次投入故鄉的懷抱。到家以後，陸宰忙於修理房舍，料理生活，會見親友鄰裏，很少有空閑的時候。年幼的陸遊便跟隨兩個哥哥到碧波千頃的鏡湖之濱采菱摘花、捉蟹捕鳥。陸遊很快就對山明水秀、風光如畫的家鄉產生了感情。
建炎三年（1129年）秋天，兀術統率金兵再次向南侵犯。這時，宋高宗從揚州逃到臨安，接著又經越州（今浙江紹興）、明州（今浙江寧波）逃到海上。金兵分兩路渡過長江，跟蹤追擊。敵兵所到之處，田園廬舍，盡成焦土，江南百姓遭到了空前的浩劫。
當金兵逼近臨安時，陸宰匆忙侍奉著老母，領著全家，投奔到東陽（今浙江金華）陳彥聲那裏避難。陳彥聲是東陽一支地方武裝勢力的首領，為人勇敢、仗義，對陸宰一家照顧得很周到。一家人在這裏寄居了三年多，等到嶽飛、韓世忠等人統率的宋軍給予金兵重創，江南的形勢穩定下來之後，他們才從東陽回到了山陰故居。
動亂的童年時代，使陸遊嚐到了侵略戰爭所帶來的無邊苦難，他看到了無數百姓背井離鄉、輾轉溝壑的悲慘處境。這段難忘的經曆，給陸遊留下了深刻的印象，成為他一生憂國憂民思想的起點。陸遊在詩中曾說：“少小遇喪亂，妄意憂元元。”（《感興》）從童年時代起，詩人陸遊的命運就與國家、百姓的命運聯係在一起了。