很快，張浚的北伐以全麵失敗而告終，陸遊也因此被彈劾罷官。
在紹興老家過了四年賦閑的日子，乾道八年，也就是公元1172年，47歲的詩人騎著一頭毛驢在細雨中經過劍門關，緩緩地向成都進發。
詩人總是自視頗高，除了寫詩弄文，還總想著經世濟國施展抱負，唐朝的李白是這樣，我們的陸詩人也是這樣。但是，詩人在仕途上又大多走得跌跌撞撞，陸詩人自詡北伐中原的大計了然於胸，儼然諸葛亮再世，但朝廷卻看他是個臭皮匠，沒把他當一回事，他此去成都赴任的官職隻是成都府路安撫司的參議官。一個小小的參議官，連騎馬的資格都沒有，隻能騎著一頭瘦驢，披著蓑衣，衣服上還沾著隔夜的酒痕，冒著絲絲細雨趕路。一首《劍門道中遇微雨》的詩讓陸遊此行的落拓形象躍然紙上。如果這一趟他是鮮衣怒馬過劍關，那他會不會像前朝的李太白那樣“仰天大笑”呢？問題是，陸遊這一輩子還真沒有仰天大笑的時候。
四川，在當時算是宋金交界的前線了。陸遊在這裏盡量把自己想象成一名鐵馬秋風的大將軍，寫下了很多氣勢磅礴的愛國詩篇。而真正的四川統帥，是範成大。陸遊難免有些飄飄然起來，仗著大家都在詩歌協會的關係，有點不把老範當上級。範成大倒是沒意見，可老範手下的人也就是陸遊的同事們看不慣了，聯名向上級告狀，說他狂放不羈，不拘禮儀。老範也終於架不住了，隻好將陸遊免了職。而陸遊對“狂放不羈”的評價倒還蠻受用，幹脆給自己取了一個名號，叫“放翁”——我就是狂放不羈，我還叫陸放翁了，怎麼著？你能把我怎麼樣？
陸遊是南宋詩人中用情最深的一位。從66歲隱居故鄉起，每年春上，他都會前往沈園憑吊唐婉，緬懷他的愛情故事，每次或詩或詞必有寄情，後來就一直住在了沈園附近。盡管這個時候，他已經跟第二任妻子王氏生下了六個兒子。他對唐婉的鍾情，對於王氏來說，當然是不公平的，但是錯誤已經釀成，陸遊也隻好將錯就錯。
陸遊的最後一次錯誤是同另一位大詞人辛棄疾一起犯下的。兩位老詩人滿懷最後一腔激情，加入了宰相韓侂胄的幕府，為他出謀劃策，積極準備北伐。七老八十的詩人還為韓侂胄寫下了《南園閱古泉記》和《南園記》兩篇文章，熱情洋溢地稱頌這位好大喜功的權相。文章的文采當然是燦然可觀的，但其中確實也不乏阿諛奉承之詞。韓侂胄北伐失敗，被殺，這也成了陸遊人生的一個汙點。
公元1209年秋，老詩人憂憤成疾，入冬後，病情日重，臥床不起。十二月二十九日，陸遊與世長辭，享年八十五歲。臨終之際，給他的兒子們留下一首絕筆詩作為遺囑：死去元知萬事空，但悲不見九州同。王師北定中原日，家祭無忘告乃翁。