可是好景不長，他們私下相會的事情被陸遊的母親唐氏發覺了。母親又要尋上門來，辱罵唐婉。幸虧陸遊事先得知了消息，他倆躲開了。不過，陸遊的母親並未放棄，她還要繼續尋找，陸遊深感這種關係實在無法再繼續下去，隻好與唐婉忍痛分離，淚滿兩衣衫。
過了一年，陸遊的父親病故了。由母親唐氏作主，陸遊續娶了蜀郡人王氏。
唐婉也隨之改嫁給了趙王宗室趙士程。陸遊在24歲時，和王氏生了長子子虛，26歲時生了次子子龍，27歲時生了三子子修。雖然王氏解了其無後之憂，但那短暫的和唐婉共渡的美好時光，卻始終讓陸遊難以忘懷。
到了宋高宗紹興二十三年(公元1153年)，南宋王朝為了粉飾太平和籠絡封建地主階級知識分子，在臨安舉行兩浙地區的科舉考試。這一年，已29歲的陸遊，參加了這次考試。他的文章流暢，字裏行間充滿了愛國熱情，受到了主考官——當時的主戰派之一的陳之茂(字阜聊)的欣賞。陳之茂不顧當朝宰相秦檜要求其錄其孫子秦塤的情麵，毅然把陸遊錄為第一。這件事觸怒了秦檜，於是他尋找籍口要報複陳之茂。第二年春天，南宋中央官署六部之一的禮部複試在臨安舉行，陸遊滿懷信心參加了這次進士考試。他認為這次能夠取得功名，可以得到為國出力的機會了。可是，事與願違，發榜的告示貼出來了，他落榜了。原來，陸遊這次成績很好，名次又列第一，但等到錄取名單上報以後，秦檜一眼看到陸遊的名字，立刻觸動了舊恨，公然把陸遊的名字剔除了，並揚言要查辦主考官陳之茂，說陸遊的卷子觸犯了朝廷議和。
陸遊遭受到這次打擊後，回到山陰家裏，心中感到非常氣憤，同時也很鬱悶。
春天來了，山陰人有遊春的習俗，特別是在三月初五——相傳是禹的生日。這天去會稽縣東南12裏禹廟遊玩的人最多。不論貧富，傾城全出，攜帶酒食，來禹廟遊賞，成為節日。為了卻心頭的煩悶，陸遊帶著兒子，也隨眾人來禹廟遊玩，並到附近的沈家園去觀賞。這沈家園池台極盛，觀賞中偶爾和唐婉、趙士程相遇。
唐婉首先發現了陸遊，她與陸遊已近十年未曾見麵了，心中又驚又喜，往日的歡情又湧向心頭，過去的情愛又曆曆在目。唐婉抑製住自己激動的心情，告訴了趙士程她與陸遊的關係，便邀陸遊前來同坐，把所攜酒食分贈給陸遊一行。陸遊一見到唐婉，心中無限悲切更是溢滿心頭，他不願再增添唐婉精神上的痛苦，隻收下了家僮送來的酒菜。陸遊凝望唐婉，體會到她的一片深情，於是便舉起酒杯，一飲而盡。酒入愁腸，更使陸遊感到惆悵哀怨。他悵然很久，便提筆在園內牆壁上題了一首《釵頭鳳》：
紅酥手，黃酒，滿城春色宮牆柳。東風惡，歡情薄，一杯愁緒，幾年離索。
錯！錯！錯！
春如舊，人空瘦，淚痕紅發鮫綃透。桃花落，閑池閣。山盟雖在，錦書難托。莫！莫！莫！
借以訴說自己的哀愁。然後他懷著抑鬱和感傷的心情離去了。
唐婉慢慢地來到園牆邊，讀了這首情意真摯、深切的詞作後，滿懷哀愁。她回到家後，不由自主地吟誦著這首《釵頭鳳》，以一種淒苦哀怨的情緒使她舉筆和了一首：
世情薄，人情惡。雨送黃昏花易落。曉風乾，淚痕殘。欲箋心事，獨語斜闌。
難！難！難！
人成名，今非昨。病魂常似秋千索。角聲寒，夜闌珊。怕人尋問，咽淚裝歡。
瞞！瞞！瞞！
這首詞深刻表達了她內心的哀怨痛苦，同時又對破壞美滿婚姻的封建禮教表示了強烈的控訴。唐婉自從寫了這首詞以後，憂鬱成疾，沒有多久就去世了。
這一出愛情悲劇，在陸遊心靈上留下了難以彌合的創傷。他對母親也微有不滿，因而常在詩中談到“姑惡鳥”。姑惡是水鳥，相傳是姑虐其婦，婦死所化。
他說：“君聽姑惡聲，無乃遣婦魂？”他借水鳥姑惡寄托了對母親的不滿。他對母親的不滿，至老不能忘懷。他在82歲時還說：
學道當於萬事輕，可憐力淺未忘情。孤愁忽起不可耐，風雨溪頭姑惡聲。
從“姑惡聲”，就很自然地想象到他的婚姻悲劇，這種“孤愁”是不可耐的。
在報國無路的情況下，陸遊的婚姻悲劇更增添了他的痛苦愁悶。
直到晚年，陸遊也無法對唐婉忘情。他晚年重遊故地——沈家園，登樓遠眺，觸景生情，想起了自己的愛情波折，還寫下了兩首《沈園》詩，懷念唐婉的深情，抒發內心的傷痛。其中一首是這樣寫的：
沈家園裏花如錦，半是當年識放翁。也信美人終作土，不堪幽夢太匆匆。