繼萬俟卨之後，又有禦史中丞何鑄與殿中侍禦史羅汝楫也上疏彈劾嶽飛。嶽飛知道自己與秦檜和他的親黨很難相容，一再奏請朝廷辭去樞密副使的職位，然而高宗一再不準。最後，高宗了解嶽飛去意已決，到了八月初九，才同意他的請求，但高宗仍然授予他武勝定國軍節度使的官職，追加少保一職。
雖然嶽飛辭去了樞密院的官職，高宗也確實很眷念他，但嶽飛更知道跟秦檜和他的親黨們很難容他。因此，他每夜都是輾轉反側，無法入睡。
這時已經到了深秋，嶽飛追憶往事，十分感慨。張所、宗澤、李綱、張浚、趙鼎，這些知遇過他的長官，雖然有時難免在思想、看法上有所不同，但他們都是君子，忠於朝廷，一心一意恢複中原，消滅敵人，最後卻又都遭到相同的命運，這真是天妒英才！嶽飛一時百感交集，就提筆寫下《小重山》這首詞：
昨夜寒蛩不住鳴。驚回千裏夢，已三更。起來獨自繞階行。人悄悄，簾外月朧明。
白首為功名。舊山鬆竹老，阻歸程。欲將心事付瑤琴。知音少，弦斷有誰聽？
忠義冤逝大理寺
嶽飛被削去了兵權，並且辭去了樞密院副使的職位，秦檜本來應該感覺很高興才是，但是他見高宗對嶽飛仍舊是恩寵有加，又賜給他房屋，擔心時間一長，嶽飛再度被起用，豈不是功虧一簣了？於是秦檜找來張浚商議，怎麼才能將嶽飛置之死地。
張浚自信地說：“這事情很好辦，請太師放心！”於是他派人秘密引誘嶽飛的部將，隻要能出頭狀告嶽飛的，就給以重賞。但是嶽飛深得軍心，竟沒有一個人理睬他。後得知王貴曾在穎昌之戰害怕受到嶽雲的責罰，而且他的帳下一個士兵偷東西被嶽飛撞見，將王貴打了一百杖。他們就派心腹想挑撥王貴與嶽飛之間的關係。王貴卻覺得嶽飛賞罰分明，而且深得人心。但是王貴的一個可致人死罪的機密不幸被張浚知道。張浚就以這個作為要挾，王貴十分害怕，隻有服從了。張浚要王貴誣陷嶽飛謀叛，王貴跟隨嶽飛戎馬生涯，對嶽飛也是敬愛有加，不想汙蔑他，就替他找了另一個人——張憲的前軍副統製王俊。
張浚派人找到王俊，王俊很痛快地就答應了。張浚又擬了一份文狀，叫親信悄悄給了王俊，讓他向都統製王貴告發嶽飛。這麼一來，就是嶽飛的手下自主揭發嶽飛的罪狀，牽涉出嶽飛父子，高宗也不會懷疑了。
王俊本來就對張憲不滿，現在有這麼好的機會，當然是迫不及待地拿著文狀到王貴的地方告發。文狀中主要是說，嶽飛曾派人秘密向張憲求救。張憲於是和王俊商議，打算把軍馬移往襄陽，迫使朝廷起用嶽飛前去控製，這樣就救了嶽飛。如果朝廷不肯讓嶽飛去，張憲就在襄陽擁兵自重。朝廷如果要攻打，他就與金人聯係，讓金人出兵相助。
九月初七，王貴接到王俊的誣狀，雖然知道狀中說的沒有一個是事實，但為了自保，不得不把文狀秘密轉交給樞密行府。
九月初八，張浚收捕了張憲，讓張憲把嶽飛供出來。張憲堅決不承認有過這種事。
張浚就用嚴刑酷法對張憲逼供，張憲曾經昏死過去好幾次，但是還是堅定地咬牙否認。
張浚得不到張憲的口供，而且張憲被打得體無完膚，奄奄一息。沒有張憲的口供，怎能抓捕嶽飛父子呢？他想了半天，最終還是把心一橫，替張憲擬了一份供招，代他畫了押，就說張憲已經招供認罪。
十月初，張憲被送到臨安大理寺拘押起來。
十月十三，秦檜奏請朝廷召回嶽飛父子，拿張憲謀叛的事對質。