陸遊出身於封建士大夫家庭，他的祖父陸佃是王安石的學生，曾任禮部侍郎、尚書右丞，精通經學，著有《埤雅》《禮象》《春秋後傳》等書，是北宋著名的學者。陸遊的父親陸宰在北宋末年做過吏部尚書、淮南計度轉運副使等職，南渡後退居山陰故居，經常與主戰派來往。陸遊的母親唐氏是北宋神宗熙寧初參知政事唐介的孫女。可以說，家人在思想、品格、學術方麵，都給予了陸遊很深的影響。
陸遊出生於宣和七年（1125年）。這年的十月中旬，任淮南計度轉運副使的陸宰奉詔入朝，他帶著家眷從壽春出發，打算乘船由淮河入汴水，到達京城開封。十月十七日，陸宰一家乘坐的官船正安穩地行駛於淮河中流，忽然天空烏雲密布，霎時間狂風大作，暴雨傾盆而下，滾滾的淮河水掀起驚濤駭浪，發出震天動地的怒吼聲。船上的男女老幼都被這突如其來的暴風雨嚇得目瞪口呆，驚慌失措。正在人們和風浪搏鬥的時候，隻聽船艙中傳出了嬰兒的啼哭聲，這個迎著暴風雨來到人間的嬰兒，就是被後人譽為“亙古男兒一放翁”的愛國詩人陸遊。多年後，陸遊這樣描述自己出生時的情景：“少傅奉詔朝京師，檥船生我淮之湄。宣和七年冬十月，猶是中原無事時。”還有：“我生急雨暗淮天，出沒蛟鼉浪入船。白手功名無尺寸，茅簷還聽雨聲眠。”
陸宰進京後不久，調任為京西路轉運副使，工作地在山西長治、晉城一帶。這時金兵南侵的消息已經傳來，時局非常緊張。陸宰把家眷安置在河南滎陽，獨自赴任。他到任不久，金兵就渡過黃河，包圍了開封。從此天下大亂，北宋王朝開始土崩瓦解。
靖康元年（1126年）四月，陸宰被彈劾免職，盡管不明白事由，但他沒去申辯，而是帶著家眷回到了開封。離開京城雖然隻有半年，但劫後的景象實在觸目驚心，昔日青樓畫閣、珠簾繡戶、金翠耀目、羅綺飄香的繁華景象不見了，呈現在眼前的是一片敗屋殘垣、瓦礫餘灰。平時最熱鬧的州橋南北和大相國寺一帶，如今也十分荒涼冷落，很少行人往來。不時地能看見衣衫襤褸、麵容憔悴、流離失所的難民。麵對這使人目不忍睹的慘狀，陸宰既為國家民族的命運擔心，又痛感自己的無能為力，內心無比沉重。
這時金兵雖然已經撤離開封，但還在河北一帶繼續發動進攻。朝廷的大權又落到了主和派的手中，他們以為隻要割讓土地，就可以苟延殘喘地活下去。種種不祥的預兆，使京城的百姓預感到敵軍隨時可能再次南侵。百姓對北宋的當權者不再抱有幻想，紛紛揮淚告別故土，逃難到南方去躲避即將到來的彌天大禍。這年秋天，陸宰一家也準備離開京城，回山陰故居。陸遊這時剛剛開始學習走路，還不懂事，是在父母的懷抱中離開汴京的，從此再也沒能回來。每當陸遊想到當年離別京城的情景時，心中總是充滿無限的感慨：
扶床踉蹌出京華，頭白車書未一家。