眼見壯誌得酬，嶽飛一時豪情大發，對王貴、牛皋、張憲等人說道：“這回如果直搗黃龍府，到時候就和你們痛快喝一回！”嶽飛過去很喜歡喝酒，飲酒數鬥不醉。高宗聞知此語，要他將來到了河朔才可以飲酒。從此，嶽飛滴酒不沾。這是流傳至今的“黃龍痛飲”的由來。
金兀術已經明白自己的處境十分危急，如果不及時撤退，一旦歸路被斷，更無路可走了，不禁長歎一聲，帶了親信和近衛，預備棄了汴京，當夜渡河北歸。這時，他忽然見到一個太學生走到馬前，說道：“您這是要去哪裏？”
金兀術意興闌姍地說：“我打算渡河歸國。”
太學生又說：“太子不要著急回去，嶽飛用不了多久就會退走，京城可安然無恙。”
金兀術冷笑著說：“嶽飛用五百騎兵破我精兵十萬，這裏的百姓也都日夜盼他到來，你怎麼能保我安然無恙？”
這個太學生又說：“自古以來，怎麼會有權臣在內，而大將能立功於外的呢！以我觀察，嶽飛就要大禍臨頭了。您何不留下來試著等等呢！”
金兀術明白了他說的是什麼，就留在汴京沒走。
秦檜在臨安剛剛慶幸金人的背叛盟約沒受牽累，卻不料嶽飛竟以兩月不到的時間，連克河南州郡，進逼汴京，朝廷上下震動，隻要過河，就能夠收複失地。他為這事日夜憂思，既不願見金兵南下，也不願見嶽飛功成，隻有劃界議和，彼此休兵，才是他進身立業的好台階。如今聖上對嶽飛褒譽有加，如何能製止嶽飛過河，能讓他班師回朝呢？他心生一計，就派遣朝廷的一個特使傳嶽飛班師。
嶽飛正在謀劃過河事宜，忽然有朝廷使到來，催促他停戰班師回朝。嶽飛不禁大為驚詫，說道：“這是為什麼？”
朝廷特使說道：“秦丞相與金朝的議和已有眉目，所以請您班師還朝。”
嶽飛憤怒地說道：“現在恢複中原已經近在眼前，怎麼能中道班師回朝呢？請您稍等片刻，容我上疏，請您將這奏折帶回。”這奏折上寫道：“金人屢戰屢敗，銳氣沮喪，且欲盡棄輜重，疾走過河。而今豪傑向心，士卒用命，天時人事，強弱已見，功及垂成，時不再來，機難輕失。”
高宗看完奏折之後，不知道秦檜派使者這一回事，隻認為嶽飛聽到什麼風吹草動，所以才上疏，就對他寬慰一番，讓他不要輕進，可與楊沂中、劉錡共同商議，如有機會可乘，就約定日期一起進攻。
秦檜自然是坐臥不安，他急得團團轉，心想，怎麼才能說動高宗，讓他給嶽飛下詔班師呢？他忽生一念，就匆匆進朝。
高宗對秦檜說：“你怎麼這麼匆忙？”
秦檜說：“為了陛下的江山。”
高宗又說：“朕的江山很好。”
秦檜說道：“聽說嶽少保逼近汴城，過河收複失地指日可待。”
秦檜又近前一步，鄭重地說：“臣為陛下著想，這事隻能憂不能喜。”
高宗不明白他要說什麼。
秦檜繼續說道：“嶽少保大兵渡河，恢複國土固然是沒問題。但是如果金人抵擋不過，願意拿前任皇帝求和，陛下該怎麼辦呢？”
高宗聽了之後沉默了很久。
秦檜看高宗沉默，馬上搶著又說：“陛下如果不同意，可是天下人都知道金人願意送歸前任皇帝求和，這必然陷陛下於不義。如果陛下答應了這個請求，那麼一旦先帝回朝，陛下還怎麼作為一國之君，怎麼麵對滿朝文武大臣呢？”
高宗越聽越覺得冷汗直流，他慌忙問秦檜：“那你說該怎麼辦呢？”
秦檜立刻說道：“以孤軍深入不當為理由，讓嶽飛馬上班師回朝。那金兀術也已經遭到重創，絕對不敢再輕易侵犯了。這樣的話，難道不是一舉兩得嗎！”
高宗其實挺器重嶽飛的，聽到這樣的話，也想了很久，歎了口氣，才勉強答應，讓秦檜一手操辦去了。
於是秦檜先用釜底抽薪的計謀，命令韓世忠、張浚、楊沂中、劉錡各自把軍隊駐紮在以前的地方，韓世忠回到楚州（今江蘇淮安）、張浚回到建康（今南京）、楊沂中回到泗州（今安徽泗縣）、劉錡回到太平（今安徽當塗）；又命令四川的眾將領胡世將、吳鱗、楊政、郭浩等如果沒有得到詔令，不要輕舉妄動。
這一年的七月二十，秦檜一天連下了12道金字牌，命令嶽飛班師回朝。嶽飛悲憤交加，於是哭著向臨安奏請：“臣十年的勞苦將在今天被瓦解了！權臣誤國啊！”
嶽飛得到消息，韓、張、楊、劉各軍都已經接到命令撤退了，而自己的軍隊也已經深入敵境，又怕金兀術察覺阻斷嶽家軍的歸路，所以嶽飛放出風聲說：“大軍明天渡河殺敵。”
金兀術後悔自己聽了那太學生的話，又怕汴京城內的老百姓對自己不利，就連夜棄城逃跑，向北跑了100多裏才停下。
嶽飛忍著悲憤，下令班師回朝。父老百姓都牽著馬挽留嶽飛，哭著說：“我們為咱們軍隊運糧草，迎接宋朝大軍，金人早已經知道，嶽將軍您要是走了，我們就沒一個人能活命啊！”
嶽飛也無可奈何，忍著淚水，出示了金字牌，說道：“我不是不願意留下，隻是朝廷有詔書，讓我立刻班師回朝，我不敢違背詔書擅自留下啊！”老百姓也知道事情已經難以挽回，一時間哭聲震天。
嶽飛回到蔡州，又有好幾百個進士以及老百姓一起挽留軍隊。嶽飛隻能把金字牌放在案幾上，讓他們觀看。大家一見事情已經這樣，哭聲四起，說道：“這可怎麼辦啊？”
嶽飛於心不忍，隻能說到道：“你們如果願意遷徙，我會劃出漢上六郡的閑田，讓你們耕作謀生。”
等到軍隊離開的時候，百姓也開始遷徙，萬人空巷，老幼相攜，不絕於途。