這樣，在形勢和君命的雙重壓迫下，嶽飛違心地拒絕了兩河百姓要他繼續北伐的懇求，下令撤軍。退兵之日，嶽飛悲憤交加，仰天長歎道：“十年之功，毀於一旦！所得諸郡，一朝全休！社稷江山，難以中興！乾坤世界，無由再複！”當地人民紛紛上前攔住嶽飛的馬，說：“我們頂香盆，運糧草，迎接官兵，金人都知道，將軍走後，我們還能活嗎？”嶽飛取出宋高宗的詔書給大家看，說：“我不得擅留！”百姓無不失聲痛哭，嶽飛也悲痛地流下了眼淚。
十二道金牌事件，既反映了宋高宗不求進取、無心迎回父兄的心態，也表明了他擔心嶽飛就此立下蓋世奇功，將來會功高蓋主。在他心中，對嶽飛的嫌隙早已經種下了。而單純的嶽飛還恍然不知。他不滿朝廷下金牌召他回師之事，氣憤之情多次溢於言表。
紹興十一年（1141年）正月，金兀術統領近十萬大軍卷土重來，直攻淮西。宋高宗命駐守鄂州的嶽飛率軍增援淮西，但嶽飛援軍尚未趕到戰場，楊存中與劉錡、王德等已在柘皋大敗金兵。張俊準備獨吞戰功，便打發嶽飛等回軍，不料金兀術命孔彥舟突然回師攻陷亳州，並重創前來救援的宋楊存中和王德軍。當嶽飛率領的援軍趕到時，金兵已安然渡淮北上。
嶽飛兩次赴援淮西，行動都遲緩了一些。據說第一次是當時他正患感冒，第二次則是因為軍隊乏糧，這對素來以用兵神速著稱的嶽飛而言，實在不是特別過硬的理由，因而有人猜測這是性格剛直的嶽飛是在借機發泄對宋高宗阻撓他繼續北伐的不滿情緒。不管嶽飛的真實心意如何，這件事在後來成為了秦檜陷害他的有力口實。
宋朝自宋太祖開國以來，武將地位低微，“重文輕武、以文製武”成為宋朝製度的最大特點。然而，從北宋末年金軍攻宋開始，宋金戰爭激烈頻繁，金軍鐵騎縱橫大江南北，南宋朝廷出於現實生存的需要，不得不格外倚重武將，這也是宋朝立國以來從所未有的事，但對武將的疑忌和防範並沒有根除。
淮西之戰後，宋高宗、秦檜為掃清和議障礙（據說金兀術提出的議和條件之一就是殺嶽飛），將張俊、韓世忠和嶽飛召到臨安，任命張俊、韓世忠為樞密使，嶽飛為副使，名為升官，實際是要削奪三大重將的兵權。並且三大將的宣撫司一齊廢罷，宣撫司中原有統製官各統所部，自為一軍，一律在其軍銜上加“禦前”二字，表示三將所統率的軍隊從此直接聽命於皇帝。結果，三大將全部都俯首聽命，乖乖地交出了兵權，以實際行動表示了對皇帝的忠心。
這樣，在沒有引起任何事端的情況下，宋高宗趙構使用明升暗降的手法，解除了韓、張、嶽三大宣撫使的統兵權。但是還有更大的陰謀，秦檜還要對堅持抗金最力的韓世忠、嶽飛進行陷害。
矛頭首先指向了韓世忠。胡紡首先向秦檜秘告，韓世忠親校耿著企圖鼓動兵變，以迎韓世忠回楚州重掌軍權。秦檜立即逮捕耿著並嚴刑拷打，陰謀以此陷害韓世忠。剛好此時嶽飛奉命前往楚州（今江蘇淮安）檢閱韓世忠的軍馬，他發現韓世忠大軍聲名如此卓著，卻不過三萬人，為諸大將中最少者，不由得對韓世忠欽佩有加。也就在這一次閱兵時，嶽飛意外得知耿著的冤獄，當即派人飛報韓世忠。韓世忠立即上書宋高宗，請求告老還鄉。由於他曾在危難之間救過宋高宗，最終宋高宗放過了他。韓世忠罷樞密使後，以醴泉觀使、奉朝請，“自此杜門謝客，絕口不言兵，時跨驢攜酒，從一二童奴遊西湖以自樂，平時將佐，罕得見其麵”。
秦檜陷害韓世忠的陰謀因為嶽飛而落空，從此對嶽飛更加忌恨，一張針對嶽飛的羅網悄悄張開了。禦史中丞何鑄、右諫議大夫萬俟卨和殿中待禦史羅汝楫三人受到秦檜指使，出麵彈劾嶽飛“誌滿意得，日以頹惰”，還將淮西之戰中嶽飛遲緩說成“稽違詔旨”。宋高宗認可了彈劾嶽飛的奏章，由此可見他內心深處支持秦檜鏟除嶽飛。嶽飛深以為懼，提出辭職，宋高宗趁機下詔免去了嶽飛的樞密副使之職。
秦檜一夥隨後又夥同張俊收買嶽飛部將王貴部下的副都統製王俊，指使王俊誣告張憲、嶽雲謀反，說張憲曾經寫信給嶽飛勸進，將張憲、嶽雲逮捕下獄。秦檜又派楊沂中到廬山把嶽飛誘騙到臨安，以謀反罪名下獄。嶽飛長歎道：“我方知已落秦檜奸賊手中，使我為國忠心，一旦都休！”其實，這固然是秦檜的陰謀，但更是宋高宗的陰謀。
據說金兀術曾提出“必殺嶽飛，而後和可成也”的條件，這有可能是真事，也有可能是秦檜編造出來的謠言，目的隻是敦促宋高宗下定除掉嶽飛的決心。宋高宗下令舉辦詔獄，由禦史中丞何鑄出任主審官。何鑄之前雖然受命彈劾嶽飛，但在審訊過程中看到嶽飛背上由母親親手刺上的“盡忠報國”四個大字，深入膚理，深深感動，頓時天良發現，轉而力辨嶽飛無辜。秦檜說：“此上（指宋高宗）意也！”可見宋高宗早已經有鏟除嶽飛之意，甚至不惜製造冤獄。