紹熙五年（1194）夏，時陸遊領祠祿閑居故裏。楊萬裏寄詩來，《寄陸務觀》雲：
君居東浙我江西，鏡裏新添幾縷絲？花落六回疏信息，月明千裏兩相思。不應李杜翻鯨海，更羨夔龍集鳳池。道是樊川輕薄殺，猶將萬戶比千詩。（《誠齋集》卷三十六）羅大經《鶴林玉露》雲：“晚年為韓平原作《南園記》，除從官。楊誠齋寄詩雲（詩略）蓋切磋之也”。羅氏認為楊萬裏此詩是諷勸陸遊勿與韓侂胄接近。按：楊萬裏《誠齋集》係親自按年代次序編排，其中又按”一官一集”原則分別編集，此詩編入《退休集》中。《退休集》是楊萬裏結束了江東副漕生活，自金陵西歸豫章之後的詩作，共七卷，即《誠齋集》中卷三十六至四十二。《寄陸務觀》編在《退休集》首卷，前有《甲寅二月十八日牡丹初發》、《四月三日登度雪台感興》，後有《六月初四住雲際院田間雨足喜而賦之》，可知此詩作於甲寅即紹熙五年四五月間。由詩中“君居東浙我江西”、“花落六回疏信息”句，亦說明此詩作於淳熙十六年兩人於臨安分手後六年。而陸遊為韓侂胄作《南園記》時，已是兩人分手十二年後的事。羅大經將楊詩歌與陸記硬聯係在一起，看成因果關係，實屬牽強，不足為憑。不過，楊萬裏寫詩諷勸陸遊是事實，也是可以理解的，因陸家與韓家本來有交往，在主戰立場上，兩人又是一致的，陸遊與韓侂胄的關係親近是鐵的事實，不必忌諱。但這種親近，是出於抗戰恢複的國家立場，而不是出於個人利益。陸遊的行為並沒有錯，至於“見譏清議”，也是自然的。清議者主和反戰，本來立場即不同，對主戰者不譏評反而不正常。楊萬裏主和，反對韓侂胄，自然不讚成陸遊與韓親近。寫詩相勸，一方麵是基於不同政治理念，另一方麵也是交友之道中應有之義，即自己認為朋友有“過失”，委婉諷勸，既盡為友之責，又不過激批評。至於孰是孰非，個人有自己的理解，誰都無權強迫對方接受自己的觀點，所以隻能“切磋之”。因此，楊萬裏此詩對陸遊“諷勸”而非“諷刺”，不必忌諱，更不應曲解。陸遊對此沒做出任何“回應”，他有自己的立場，朋友的“心意”，自己領了，但不必接受。
羅大經記述此事時，采取的是客觀立場，他對楊萬裏有好感，對陸遊亦無惡意。他並沒有說楊萬裏是對的，相反，他維護陸遊，接著說：“然《南園記》惟勉以忠獻之事業，無諛辭。晚年和平粹美，有中原承平時氣象，朱文公喜稱之。”
《宋史·本傳》說陸遊“晚年再出，為韓侂胄撰《南園》、《閱古泉記》，見譏清議。朱熹嚐言其‘能太高，跡太近，恐為有力者所牽挽，不得全其晚節’。蓋有先見之明焉。”又雲：“陸遊學廣而望隆，晚為韓侂胄著堂記，君子惜之，抑《春秋》責賢者備也”。《宋史》之論出，後世史家多承其說，《四庫全書總目·誠齋集提要》雲：“遊晚年隳節，為韓侂胄作《南園記》，得除從官，萬裏寄詩規之，有‘不應李杜翻鯨海，更羨夔龍集鳳池’句，羅大經《鶴林玉露》嚐記其事。以詩品論，萬裏不及遊之鍛煉工細；以人品論，則萬裏倜乎遠矣。”四庫館臣亦如羅大經，將楊萬裏寫詩規勸陸遊與陸遊寫《南園記》牽扯一起，且據此做出陸遊人品不及楊萬裏的結論。胡明《誠齋放翁人品談》亦認為楊萬裏人品高於陸遊，說“楊萬裏的政治品質與道德麵貌似乎是無懈可擊的”，又就詩而論，“放翁的創造性不如誠齋，審美把握不如誠齋”，明顯褒楊貶陸。
嘉泰元年（1201），陸遊時在故鄉。初冬，楊萬裏寄書至，《答陸務觀郎中書》雲：