紹興三十二年（1162年），宋孝宗趙昚即位，任命陸遊為樞密院編修官，賜進士出身。
陸遊上疏，建議整飭吏治軍紀、固守江淮、徐圖中原。當時孝宗在宮中取樂，並未重視，陸遊得知後告訴大臣張燾。張燾入宮質問，孝宗遂罷陸遊為鎮江府通判。
隆興元年（1163年），宋孝宗以張浚為都督，主持北伐。陸遊上書張浚，建議早定長遠之計，勿輕率出兵。
張浚派大將李顯忠、邵宏淵領兵出擊，收複靈壁、虹縣，進據符離，因李邵不睦，宋軍大敗（符離之戰），偏安之論隨即甚囂塵上。張浚上疏領罪，被貶為江淮宣撫使。
隆興二年（1164年）春，陸遊在鎮江任上結識張浚，獻策出師北伐，張浚讚揚為“誌在恢複”。四月，“隆興和議”將簽成，陸遊上書東西兩府，進言說：“江東之地，自吳國以來，莫不以建康為都城。臨安頻臨大海，運糧不便，且易受意外襲擊，皇上駐紮臨安，隻能作為權宜之計。合約簽訂之後，皇上應駐紮建康、臨安，金朝來使，或到臨安、或到建康，這樣以來，可以爭取時間建都立國，而不令金朝生疑。”
當時龍大淵、曾覿掌權，陸遊就對樞密使張燾說：“曾覿、龍大淵利用職權，廣結私黨，迷惑朝廷，今日不除，後患無窮。”張燾聞言奏報朝廷，孝宗大怒，貶陸遊為建康府通判。
乾道元年（1165年），陸遊調任隆興府通判。有人進言陸遊“結交諫官、鼓唱是非，力說張浚用兵”，朝廷即罷免了陸遊的官職。
公元1161年，金主完顏亮率部南侵，宋金夾江對峙，完顏亮死於內訌，金兵退。賞識陸遊的張浚以樞密使主持北伐，但很快北伐失利，“隆興和議”簽訂，主戰派失勢，張浚被黜。
剛調為隆興府（今江西南昌）通判的陸遊，因力勸張浚北伐，發生部下將領不合的情況，“飛霜掠麵寒壓指，一寸丹心唯報國”的陸遊，被冠上“交結台諫，鼓唱是非，力說張浚用兵”之罪名而遭免職，被罷黜歸鄉，一住就是五年，直到四十六歲時，朝廷起用，出任夔州通判。