這時候可以說形勢一片大好，嶽家軍即使滅掉金國也不是沒有可能的事情，事實上金國的高層都在擔心會有亡國的危險，而宋高宗和秦檜卻再次救了金國。
這時候，嶽飛已經完全可以實現他直搗黃龍的夙願了。他不是不知道高宗擔心自己兵權過重威脅到皇權，他在給高宗的上書中屢次表明心跡，隻要成功將金兵趕出燕雲之地，凱旋之後立即解甲歸田，絕不留戀功名富貴，更不留戀軍權。
但是這話高宗能相信嗎？高宗以己度人，當然不相信嶽飛說的是真話。
秦檜對高宗說：“完了完了，嶽飛要是把金人趕盡殺絕，接下來就輪到皇上了。”
高宗：“那現在該怎麼辦？”
秦檜：“連金人都不是嶽飛的對手，你想以嶽飛的性格，他會把您這個皇帝放在眼裏嗎？到時候他重兵在握，皇上就算是不想看他臉色都不行。微臣擔心嶽飛歸來之後會重新導演當年太祖黃袍加身的故事。”
高宗：“朕也很擔心，但是現在我們還能製住他嗎？”
秦檜：“隻要金人不滅，我們就能製住嶽飛，金人一旦徹底失敗，嶽飛就再也沒有後顧之憂了。試問天下，有誰不想自己做皇帝呢？”
高宗：“可是現在他重兵在手，朕又豈敢得罪他？”
秦檜：“為今之計，趕快召他回來。”
高宗於是下詔，讓八百裏快馬帶著自己的金牌來到嶽飛軍營，下令嶽飛班師回朝。嶽飛收到詔令後，說道：“現在正是中興的大好時機，如果不趁機滅掉金賊，以後恐怕後患無窮，希望陛下明鑒。”
接下來幾天，高宗又下達了金牌，讓嶽飛無論如何要班師回朝，到臨安朝見自己。嶽飛不同意，隻回道：“將在外君命有所不受。”
宋高宗已經喪心病狂，覺得嶽飛不班師回朝就是公然違抗自己的命令，如果任由發展，嶽飛必定擁兵自重，威脅皇權。於是接連下了十二道金牌，讓嶽飛服從命令，立即班師回朝。在這些日子裏，嶽飛痛感將錯失良機，收複河山的誌向難以實現，在百感交集中還寫下了傳唱千古的《滿江紅》：怒發衝冠，憑闌處，瀟瀟雨歇。抬望眼，仰天長嘯，壯懷激烈。三十功名塵與土，八千裏路雲和月。莫等閑，白了少年頭，空悲切。
靖康恥，猶未雪；臣子恨，何時滅？駕長車踏破，賀蘭山缺。壯誌饑餐胡虜肉，笑談渴飲匈奴血。待從頭，收拾舊山河，朝天闕。為了收複河山之誌，嶽飛一直沒有聽從君命。君臣之間已經到了劍拔弩張的地步，高宗殺意已濃，但是嶽飛並沒有感覺到，或者他早已將自己的生死置之度外。在他心中，隻有驅除外寇這個宏誌，所以他不想去過多考慮兔死狗烹的古訓，以免影響軍心。
當第十二道金牌下來時，嶽飛終於忍不住失聲痛哭：“秦檜實是國賊，臣十年的努力，就在他的手中毀於一旦。”
嶽飛明白，到了這個地步，自己再不班師回朝的話，朝廷一定會誣陷自己謀反，到時候可是株連九族的大罪。無奈之下，隻好班師。
班師回朝的路上，嶽飛的心情落到低穀，仰天發出一聲長歎：“這是天意，天意……”
行軍路上，王貴對嶽飛說：“大哥，朝廷已經對你起了猜忌之意，現在這種情況不宜跟皇上鬥氣，求得自保才是上策。”
嶽飛說道：“我無心自保，壯誌難酬，生與死又有何分別。”
聽說嶽飛撤兵，金兀術大喜過望，立即知道，是自己派出的奸細秦檜的功勞。金兀術本來準備渡河北遁，得知這個消息，決定暫時不渡河，靜觀後續的變化。
嶽飛撤軍不久，高宗又命韓世忠撤軍。整個戰局發生了扭轉，金兀術知道，如果秦檜有辦法解除嶽飛的軍權，說不定自己能卷頭重來，勝負之數還是未知。
嶽飛回到朝中之後，不想與高宗做過多的交流，隻是堅決表示要辭去一切官職，回鄉務農。