陸遊一生，經曆過北宋二朝、南宋四朝，身體素質好，又善於養生，活了八十六歲。在中國古代的詩人、詞人中，他可能是最長壽的。
陸遊出生於名門望族、江南藏書世家。陸遊的高祖陸軫，字齊卿，是大中祥符年間陸遊進士，官至吏部郎中，追贈太傅；祖父陸佃，師從王安石，精通經學，官至尚書右丞，所著《陶山集》十四卷、《春秋後傳》、《爾雅新義》等是陸氏家學的重要要典籍。
陸遊的父親陸宰，曆任淮西提舉常平、淮南東路轉運判官等職，有藏書樓“雙清堂”。通詩文、有節操，北宋末年出仕，南渡後，因主張抗金受主和派排擠，遂居家不仕；陸遊的母親唐氏是北宋熙寧初年參知政事、宰相唐介的孫女，亦出身名門。
宣和七年（1125年）十月十七日，陸宰奉詔入朝，由水路進京，於淮河舟上喜得第三子，取名陸遊。同年冬，金兵南下，並於靖康二年（1127年）攻破汴京（今開封），北宋滅亡（靖康之恥），陸宰攜家眷逃回老家山陰。
建炎三年（1129年），金兵渡江南侵，宋高宗率臣僚南逃，陸宰改奔東陽，家境才開始逐步安定下來，時陸遊年僅四歲。