關於陸遊出妻的原因，九百年來，大體有如下幾種說法，陳鵠說“不當母夫人意，出之”；劉克莊說“二親督教甚嚴，恐其惰於學也，數譴婦，放翁不敢逆尊者意，與婦訣”；周密說陸妻“弗獲於其姑”。陸遊晚年的詩作提及唐琬不孕。後人多從陳、周之說，歸咎於陸母，並引據陸遊《惡姑》詩，認為陸母抱孫心切，而陸妻竟不能生子。但陸母是北宋名臣唐介的孫女，且陸遊是陸宰第三子，長兄陸淞比他大十六歲，陸遊的大侄與陸遊年紀相仿，陸母完全不必為陸家無後而擔憂，何況陸遊與前妻才共同生活了二三年。相比較而言，劉克莊的說法較為可信。這件悲劇事情的原因，在於陸遊父母擔心其對兒女之情的眷戀影響對陸遊對“功業”的追求。新婚燕爾的陸遊終日流連於溫柔鄉裏，根本無暇顧及應試功課進仕為官。陸遊的母親唐氏一心盼望兒子金榜題名，光耀門庭。目睹眼下的狀況，她大為不滿，幾次以姑姑和婆婆的身份對唐婉大加訓斥，責令她以丈夫的科舉前途為重，淡薄兒女之情。但陸、唐二人情意纏綿，無以複顧，情況始終未見明顯的改善。陸母因此對兒媳大起反感，認為唐婉實在是陸家的掃帚星，將把兒子的前程耽誤殆盡。陸遊的母親愛子心切，有著強烈的戀子情結，不想自己的愛完全被一個有才有德的女人奪去，於是，嫉妒兒子和兒媳的愛情太甜蜜，受不了小兩口整天卿卿我我的樣子，一個比較有力的證據是，陸母“恐其惰於學也，數譴婦。”（見南宋劉克莊《後村詩話》就是說，陸母看兩個人整天如膠似漆的樣子，就擔心兒子從此沉浸在溫柔鄉裏，為兒女情長而誤了學業大事，所以，有好幾次痛罵這個兒媳婦，並下了棒打鴛鴦、非要拆散他們的決心。
陸遊心中悲如刀絞，素來孝順的他，麵對態度堅決的母親，除了暗自飲泣，別無他法。迫於母命難違，陸遊隻得含淚忍痛休妻。
但是，休書寫了，隻能是輿論上和法律上解除了婚姻關係，但在心裏他又怎麼能舍得這麼好的妻子呢？
陸遊暗中悄悄另築別院安置唐婉。
陸遊一有機會就前去與唐婉鴛夢重續、燕好如初。不幸的是，陸遊的母親很快知道了這件秘密，於是再度拆散了他們二人。為了防止陸遊再度約會唐婉，讓他徹底死了這顆心，陸母強逼陸遊娶妻王氏，徹底切斷了陸、唐之間的悠悠情絲。陸遊與王氏結婚後，很快生出了孩子。陸遊共有七子二女。《陸遊年譜》中有記述：長子陸子虞淳熙十五年出仕，官至淮西濠州通判；次子陸子龍慶元三年出仕武康尉，官至東陽丞；第三子陸子修嘉泰四年，出仕閩縣；第四子陸子坦嘉泰四年春，出仕臨安；第五子陸子布生於淳熙元年（1174年），第六子陸子聿生於淳熙六年（1178年），他們均在陸遊生前未曾作官；七子陸子約；史載，陸遊有二女，但名不詳。