嶽飛帶領著嶽家軍揮軍北伐，占據了絕對優勢，打得金兵連連敗退。眼看收複失地、迎還二帝的壯誌將要得酬之時，卻突然被迫班師回朝。這實在是功敗垂成，讓嶽飛沮喪不已。他已經心灰意冷，失望透頂，就上奏章請求朝廷解除自己的兵權。高宗當然是不肯這麼做，他想盡辦法去安撫嶽飛。
九月初一，嶽飛到達臨安，高宗為了對嶽飛表示嘉獎，頒發了沒有填姓名的補官文憑481道，由他委派正任承宣使以下的官吏。
這時候，金兵又開始四處侵擾，入侵淮寧、攻打穎昌、侵犯河南、進軍川陝，並且有意進犯唐、鄧州郡。嶽飛又奉命分頭救援。
紹興十一年正月，金兀術看到宋軍都被召回去了，就聚集了十萬大軍，進犯淮西，一舉攻下了壽春（今安徽壽縣），又渡過淮河，攻陷了廬州（今安徽合肥）。負責防衛淮西的張浚、楊沂中、劉錡，合力抵抗來犯的敵人。高宗又命令嶽飛從黃（今湖北黃岡）、蘄（今湖北蘄春）兩地繞到敵人身後，支援淮西守軍，致使敵人腹背受敵。
嶽飛接到詔告，此時他正身體不適，感染風寒，咳嗽不停，但是他仍舊不顧疾病纏身，親自率領背嵬精騎兵，連夜趕往廬州。金兀術一聽嶽飛來救援，郾城的傷痛記憶猶新，就連夜帶領部隊逃回淮北，他的部下韓常見到這種情景，也就渡過淮河向北逃走了。廬州之圍被化解，嶽飛暫時屯兵舒州（今安徽安慶）待命。
金兀術聽到嶽飛由廬州回師舒州，又轉軍進襲濠州（今安徽鳳陽），高宗又命令嶽飛率兵與韓、張、楊、劉會師援救。嶽飛奉命立刻趕往救援，抵達定遠（今安徽定遠縣），離濠州不遠，金兀術得到消息後又逃跑了。
通過這些情況觀察，金兀術入侵淮西，並不是非要攻城拔寨，而是要困擾宋軍，讓他們疲於奔命。這正如三月十七高宗寫給嶽飛救援韓世忠的手諭上說的：“累得卿奏，往來廬舒間，想極勞勩，一行將士，日夜暴露之苦，道路登涉之勤，朕心念之不忘。”
秦檜占據相位，高高在上，但是心中念念不忘的是眾將領手握兵權，難以控製，他最怕朱仙鎮的一幕重演。範同向他獻計說，請將三大帥同時調到樞密院，自然解除兵權了。秦檜聽了之後很高興，當即密奏高宗，以柘皋（今安徽巢縣西北之重要市鎮）之捷為理由，召韓世忠、張浚、嶽飛一起趕赴臨安，論功行賞。
高宗召見範同，範同奏明高宗說，祖宗定製的規矩向來如此，軍權統歸朝廷，地方不得擁有軍權。現在三大帥都擁有很大的兵權，開府設官，這好像建立另一個朝廷一樣。如果他們任意一個有了異心，恐怕不好控製住。高宗覺得他說得很有道理，立刻命令範同與給是中林待聘，連夜在學士院中草擬詔命。為了不泄露機密，當夜就封鎖了學士院。
第二天，高宗就派韓世忠與張浚為樞密使，嶽飛為樞密副使。四月二十七又罷除韓、張、嶽三個宣撫司的職位。高宗此時隻聽信秦檜、範同的意見，滿足於他們口中所謂的中央集權。他們從不曾想過，一旦有了警報，該怎麼禦敵呢？
一天，黃機密從鄂州趕來向嶽飛辭去官職，說自己將要回鄉務農，對仕途這方麵心恢意冷了。嶽飛聽後十分悲痛，更是十分悲憤。
送走了黃機密，嶽飛每天都是抑鬱寡歡。心想，自己哪天也能像黃機密一樣當一個閑雲野鶴呢？可是眼前最緊要的還是如何避嫌釋疑，於是立刻奏請朝廷請求交出背嵬親兵，並請求將家眷由江州遷來臨安居住。
五月十一，有詔令說讓韓世忠留在樞密院辦事，讓張浚與嶽飛一起前往楚州，檢閱軍馬，安排戰略防禦，並以同以樞密行府的名義撫定韓世忠軍馬。
於是，嶽飛與張浚一起去相府拜見秦檜。
秦檜說：“你們這次去，要防著韓世忠的親信！”
嶽飛冷笑一聲說：“現在韓太保（韓世忠）已經調到職樞府，楚州的軍隊就是朝廷的軍隊，韓太保怎麼能控製得了呢！”這句話讓秦檜沒有任何理由辯駁，秦檜臉色變得很難看。
而張浚卻恭維地說道：“太師您考慮得對。”
嶽飛暗自想到，我很難與秦檜、張浚等人苟同，與其以後受到牽製，不如現在急流勇退，就上奏朝廷請求辭去樞密副使一職，朝廷不準。嶽飛無奈，隻有與張浚一起去楚州。
張浚很清楚秦檜對韓世忠很不滿，所以對嶽飛說：“朝廷之所以留下韓世忠，讓我們來楚州檢閱軍馬，無非是要我倆乘機把軍隊平分，控製住局麵而已。”
嶽飛不以為然地說道：“國家抵禦外敵，恢複中原，就隻有咱們三四個人。萬一皇上又讓韓太保領軍，你我二人還有什麼臉麵與他相見呢？”