張浚聽後十分不快。後來兩個人巡視楚州城，張浚說：“這城太過單薄，不能禦敵，應該修繕。”
嶽飛針鋒相對地說道：“修繕城府，隻是為了保命，而我們所應做的是該如何殺敵，恢複疆土。”
張浚很惱怒，卻又沒法發作。張浚以前本來十分器重嶽飛，後來因為嶽飛受朝廷不斷提拔，與他平起平坐，要與他對立了，就心生嫉妒。雖然嶽飛對他處處恭謹小心，但張浚還是無法釋懷。所以張浚回到朝廷，就散播流言中傷嶽飛，說他打算放棄山陽（即楚州），退保長江。
楚州軍吏耿著曾私下對總領胡紡說道：“兩個樞密這次前來，一定是要瓜分軍隊。本來軍隊挺好的，他們一來事情就不好了！”
胡紡將這話上告朝廷，秦檜立刻將耿著抓捕，將他投放到大理獄，嚴刑拷打，想要誅連韓世忠。
嶽飛不忍心看韓世忠被無辜牽連，就寫信給他，告訴他事情的經過。韓世忠驚恐萬分，親自拜見高宗。
高宗也很驚詫，安慰他說道：“怎麼會有這種事情，朕會為你做主的。”
第二天，高宗向秦檜查問這件事，秦檜一看事情要敗露，隻能說：“韓世忠是國家棟梁，忠心無二，怎麼能任意受到株連呢！”秦檜不得已，隻有借著詆毀罪的罪名將耿著發配了事。
秦檜為了這件事情每天都愁眉不展，恰巧一次張浚過來拜見，秦檜恨恨地說：“不知道是什麼人將這件事露泄給韓世忠，讓他搶得先機有自己澄清的機會！”
張浚想也沒想就說：“不會有別人，一定是嶽飛。臨去楚州前他不是也曾為韓世忠辯解？”
秦檜咬牙切齒地說道：“嶽飛！我不殺你，誓不為人！”
秦檜說完，知道自己失言了，心想必須拉攏張浚，才能不會讓嶽飛知道，便對張浚說道：“我原本想奏報皇上由你一個人執掌樞府，不想皇上卻又委任韓世忠與嶽飛。如果能去了韓世忠和嶽飛，全國兵權就由你一個人執掌了！”
張浚拜倒說：“這都要靠太師您提攜了。”
於是秦檜與張浚便合謀排擠嶽飛，首先讓監察禦史萬俟卨向朝廷奏請彈劾嶽飛的三個罪狀：
（一）爵高祿厚，誌滿意得，日益頹惰；
（二）淮西之役，逗留不前；
（三）公然對將佐倡言，山陽不可守，沮喪士氣，動搖民心。
原來有個叫萬俟卨的人在嶽飛坐鎮鄂州的時候，為了討好嶽飛，曾經當麵提出“足兵”、“足財”、“樹威”、“樹人”四個策略。
所謂“足兵”，就是建議嶽飛要不顧朝廷的命令，擴充軍旅；所謂“足財”，建議嶽飛設法充裕財源，這樣就可以雄踞襄漢，舉足輕重；所謂“樹威”，建議嶽飛借著理由誅殺在朝的大臣，在朝廷示威；所謂“樹人”，建議嶽飛在管轄範圍之內，遍布親信，朝中也應有密切的同僚可以通信，這樣不會孤立無援，遭人暗算。
嶽飛聽完很不高興，斥責他說：“我嶽飛這一生，隻知道有朝廷，不知道有個人。你竟勸我擁兵自重，割據稱雄！你說這種話，我本該將你查辦，但是見你千裏迢迢趕過來，我今天就放過你，今後別再來找我！”
萬俟卨乘興而來，敗興而歸，一腔怨氣無處使，到了建康，他就曾經上疏彈劾過嶽飛，秦檜把他收為心腹，舉薦他為監察禦史，萬俟卨也就死心塌地投靠在秦檜的門下。
繼萬俟卨之後，又有禦史中丞何鑄與殿中侍禦史羅汝楫也上疏彈劾嶽飛。嶽飛知道自己與秦檜和他的親黨很難相容，一再奏請朝廷辭去樞密副使的職位，然而高宗一再不準。最後，高宗了解嶽飛去意已決，到了八月初九，才同意他的請求，但高宗仍然授予他武勝定國軍節度使的官職，追加少保一職。
雖然嶽飛辭去了樞密院的官職，高宗也確實很眷念他，但嶽飛更知道跟秦檜和他的親黨們很難容他。因此，他每夜都是輾轉反側，無法入睡。
這時已經到了深秋，嶽飛追憶往事，十分感慨。張所、宗澤、李綱、張浚、趙鼎，這些知遇過他的長官，雖然有時難免在思想、看法上有所不同，但他們都是君子，忠於朝廷，一心一意恢複中原，消滅敵人，最後卻又都遭到相同的命運，這真是天妒英才！嶽飛一時百感交集，就提筆寫下《小重山》這首詞：
昨夜寒蛩不住鳴。驚回千裏夢，已三更。起來獨自繞階行。人悄悄，簾外月朧明。
白首為功名。舊山鬆竹老，阻歸程。欲將心事付瑤琴。知音少，弦斷有誰聽？