此時嶽公已遣梁興布散德意，已招結兩河豪傑韋銓、孫謀等，盡領兵固堡，以待嶽元帥來。又有李通、胡清、李賓、孫琪等，率眾來歸。還有那磁、相、開、德、澤、潞、晉、絳、汾、隰州諸境，都與嶽元帥約日興師來會。凡是助嶽元帥之兵，旗上都寫“嶽”字為號。那時，百姓爭挽車牛，多備糧草以饋，嶽元帥兵一到，皆香花燈燭，迎滿道路。金兵隊裏統製王鎮、崔慶，將官李覬、崔虎、華旺等，都率眾投降。龍虎大王名忔查、千戶高勇等，俱密受嶽元帥旗號，暗以為應。將軍韓當要將部下五萬人為附，嶽公大喜。因對眾將官說道：“直抵黃龍府，與諸君痛飲耳！”那時一路百姓，都歡聲如雷，隻望嶽家兵來，如解倒懸。誰知秦檜力主和議，欲將淮北盡數棄置，教眾將班師回朝。嶽公聞知，因上疏道：
金人銳氣沮喪，盡棄輜重，疾走渡河。豪傑向風，士卒用命；時不再來，機難輕失。
秦檜見此數語，曉得他不肯回兵，遂詔張浚、楊沂中等先回，然後對高宗道：“嶽飛孤軍，不可久留，乞命班師。”高宗已聽信秦檜和議之言，遂一日發了十二道金牌，詔嶽飛班師，豈不痛惜！
嶽公見金牌連詔，知是秦檜之意，憤惋泣下，東向再拜，對眾將官道：“十年心力，廢於一旦！奈何，奈何！”眾將官都諫道：“此非朝廷之意，皆秦賊蒙蔽聖明。如今中原震動，四方響應，恢複之時。況‘將在外，君命有所不受’。古今矯詔興師，權以濟變。元帥若領師前進，眾將願出死力，為元帥前驅，擒滅兀術，獻於天子，然後歸朝待罪，未為晚也。再不然，請除君側之惡，誅了秦檜，然後再立功勳，亦未為不可。”嶽公道：“依君言，明是嶽飛反，非秦檜反也，斷斷不可！”遂喝退了眾將官，即日拔寨，班師回朝。那些百姓遮住馬頭，哭訴道：“我等頂香運草，以迎官軍，金人盡知。將軍一去，我等性命休矣！”嶽公在馬上，也灑淚道：“詔書既下，我怎敢擅留？汝等若慮金人，可急急收拾，從我遷徙，庶性命可存。我為汝暫留兩日。”眾百性忙忙收拾，都扶老挈幼，跟嶽元帥遷回。嶽公隨上一本，請以漢上六郡閑田處之。
嶽公既班師，那金人歡聲如雷，仍一齊發作，將嶽元帥恢複的城池，依然盡數奪去。嶽公回朝，麵見高宗，並無一語，遂力請解了兵權。金人所言和約，不上半年，早又分道渡淮，勢如風雨，且寫書與秦檜：“不殺嶽飛，和議必不堅久。”故秦檜叫萬俟（侯）卨等，將“莫須有”之事，妝成圈套，再三羅織，竟將嶽家父子，陷在大理獄中，風波亭上，斷送了性命，並送了宋室的江山，奸人方才快活，以為得計。誰知一時之受用有限，而千古之罵名無窮。人生誰不死？而嶽公之死，卻死得香馥馥，垂萬世之芳名。今日雖埋骨湖濱，而一腔忠勇，使才人詩客、遊人士女，無不叩拜景仰而痛惜之，連湖山也增幾分顏色。昔日趙子昂有詩為證：
嶽王墳上草離離，秋日荒涼石獸危。
南渡君臣輕社稷，中原父老望誰提？
英雄已死嗟何及？天下中分遂不支。
莫向西湖歌此曲，水光山色不勝悲！
（《西湖佳話》卷七）