嶽飛開始了思索，一串串的疑問湧上心頭，攪得嶽飛心裏亂糟糟的。他想起當年，收複襄陽六郡時朝廷不許越出界線一步，攻打伊、洛時不許渡河深入，而此時正當收複國土的大好時機，卻又毫無理由地要收回兵權，分散兵力，這一切都不是偶然或無意的，而是別有用心。
嶽飛對高宗的出爾反爾，異常憤慨，於是上奏請求解除軍務。理由是與宰相張浚意見不和，無法共事，當然實際理由並不是這一點，嶽飛此舉是為了表示對高宗的強烈不滿。按當時的封建禮法製度，臣僚提出辭呈，必須要先經過皇帝的首肯，才能夠離職，但是嶽飛在極度憤怒下，不經皇帝許可，隻對隨從把軍中機密作了一番交代後，就滿懷悲憤地離開了建康，奔向廬山東林寺，給亡母姚氏守孝，盡一番孝心。嶽飛這一近乎驚世駭俗的“抗上”行為，反映了他性格倔強的一麵。
嶽飛擅自離職，大大激怒了宰相張浚。他多次上奏高宗，說什麼獲取製兵權，是嶽飛早已預謀的事，而如今嶽飛未經允許就擅自離職，是用以要挾皇上，並且想辦法剝奪嶽飛的兵權。像狐狸般狡詐的秦檜，豎起兩隻耳朵，一邊傾聽高宗的動靜和意向，一邊也極度熱情地支持張浚，一心想整垮嶽飛。
嶽飛的舉動，也令高宗大為震怒。他對嶽飛的疑忌也更加重了，但是在眾大臣婉轉的勸說下，加上和談還沒有獲得成功，在軍事上還要依靠嶽飛，所以權衡利害得失，他按下了心頭怒火，一麵派都督府參議軍事張宗尤代領嶽家軍，穩住嶽家軍，一方麵派嶽飛的部將李若虛、王貴等上廬山乞求嶽飛下山。
為了逼迫嶽飛出山，高宗還特別吩咐，說如果不能將嶽飛請回來，就將他們和嶽飛一同按軍法處斬。
張宗亢是宰相張浚的心腹，原來他曾對嶽飛懷有很深的敵意。他接旨到達鄂州後，著手統領嶽家軍。
嶽家軍對此感到非常擔憂，人心慌亂，都說：“如今我們已經換了一個統帥，嶽相公恐怕是再也回不來了。”後來由因病告假的張憲出來主持軍務，詳詳細細地向軍中各大小將領解釋派張宗亢來嶽家軍的原因，費了好大一番口舌才將全軍將士的軍心穩定下來。
張宗亢看到嶽家軍嚴明的軍紀，雄威的軍容，昂揚的士氣，不禁消解了對嶽飛的敵意，從心底對嶽飛產生了深深的敬意，禁不住長歎一聲：“嶽帥果真治軍有方啊！”從此盡心盡力地操持著軍務。
與此同時，王貴和李若虛帶著皇上的命令來到了廬山東林寺。
他們費盡了口舌，動用了多種理由，始終無法把嶽飛說動。接連勸了幾天，到了第六天，李若虛不得不將最後一張牌拿出，他對嶽飛說：“相公想造反嗎？你從前隻是河北的一個小農夫，後來皇上將重任托付給你，讓你掌握兵權，這都是朝廷賦予你的恩典，難道你現在要與朝廷對抗嗎？相公如果執意不肯下山，那麼我們就會因此而遭斬，我們難道有什麼對不起相公的嗎？”
為了不使自己的下屬因此而受到牽連，也為了抗金大業，嶽飛隻好受詔下山，盡管心裏千百個不願意，但是卻不能違抗皇上的命令。
依照當時朝廷的製度，在恢複官職之前，嶽飛必須先去求得皇上諒解。
為了表示自己的誠意，嶽飛返回鄂州之前先到建康，朝見宋高宗。
當然，這次朝見主要是向宋高宗表示歉意，自責對高宗的不敬，他上奏說：臣因離職守喪，多次違背您的旨意，按國法論是死罪，請陛下維護刑罰的尊嚴，將臣處以死刑，以儆天下。
當然，這都是維護皇帝尊嚴的禮節性語言，高宗是不會殺他的。高宗回答的話表麵上看來平平和和，像在寬慰嶽飛，實際上卻含有責備、懲罰之意，話語之中還透著殺機。他說太祖皇帝訓誡，凡有違犯本朝法典的，應按罪論斬。但你的忠心我很明白，所以我不會殺你。這次仍然派你統率嶽家軍，表明我並沒有怪罪你。
於是，嶽飛拋開了個人的恩怨，重新認真地籌備北伐事業。
實際上，宋高宗對嶽飛的不滿已達到不可挽回的地步，隻是他目前要依靠嶽家軍維護自己的統治地位，又沒人能取代嶽飛在嶽家軍的地位，才不得不表麵上對嶽飛加以安撫。