偽齊軍兩次南犯時，長江防線的南宋各路軍馬都與偽齊軍交鋒過。在戰鬥中，各路兵馬的戰鬥力及其統帥的才能都展現無餘。而劉光世表現得最差，他畏懼金兵不敢交戰，且沉湎於酒色，不理朝廷政事。因此宰相張波建議削除劉光世的兵權。宋高宗對劉光世幾乎將淮西拱手讓給偽齊的行為也十分惱怒，他也認為削除劉光世兵權的時機已經成熟，隻是沒有接替他的合適人選，才遲遲沒有做出最後的決定。
張浚為了解除劉光世的兵權，就派心腹呂祉到劉光世的軍營中，逼迫劉光世主動辭職。接著張波便以都督諸路兵馬的名義通知嶽飛接管劉光世的軍務。同時，宋高宗又命令原劉光世部下大將王德等接受嶽飛的指揮，並說，因為形勢需要，把兩軍合並，你們要聽嶽飛領導，同心合力為國家效命，嶽飛的命令就是朕的命令，如有違抗，將以國法製裁。但宋高宗始終未簽發任命嶽飛接管的詔書。
這些行動嶽飛都已經知道了。素以收複失地、恢複中原為誌的嶽飛欣喜異常。他每次北伐，都因兵力不足，而成為局部戰役。劉光世的部隊兵馬是自己的兩倍，如果真能將這兩支軍隊並歸一起，則可大展宏圖。偽齊的劉豫政權，由於兩次南征均以失敗告終，士氣低沉，人心渙散，這正是南宋大舉反攻的好時機。於是，他向宋高宗闡發了自己指揮這兩支軍隊消滅偽齊政權、直搗金都的戰略構想。
宋高宗對嶽飛這個雄心勃勃的計劃並未明確表態，僅以鼓勵之辭答複他。此時嶽飛高興得似乎有些喪失冷靜，把合並劉光世軍當做一種既成事實。但事過不久，宋高宗卻取消了將劉光世軍合並到嶽家軍的打算。
事發突然，但也是有原因的。
第一，嶽飛並不是宋高宗心目中接管劉光世軍的最理想人選。
第二，是曆史的教訓。自唐末以來，武人擁兵自重、不服朝廷管轄已成為公認的教訓，北宋王朝的建立就是掌握兵權的趙匡胤發動政變取得的，因而宋太祖留下祖訓，對武官分而治之，不使其擁有重兵。
第三，其他文臣武將對嶽飛兵權急劇擴大感到擔心。
第四，宰相張浚的私心。他一向自視過高，認為自己的功勞比嶽飛大，官職比嶽飛高，統製全國兵馬的權力應該由自己擁有，因此就出頭反對嶽飛的用兵計劃，不斷在高宗麵前提出反對意見。而秦檜則樂於在一旁煽風點火，這兩個人一明一暗地將宋高宗搞得有點動搖。原本高宗隻是在一時的感情衝動下，才將兵權授予嶽飛，但是他降金的念頭從來也沒有斷過，隻是因為種種緣故，他才在表麵上裝出一副抗金的模樣。
如今在張浚和秦檜的鼓動之下，他才如夢初醒，想當年，宋朝的開國皇帝就是以武將的身份，發動了政變，當上了皇帝，而為了解除後患，又采用“杯酒釋兵權”，的辦法削了一部分武將的兵權，才安安穩穩地做起了皇帝。因此對武將的防範和猜忌，就成了趙宋代代相傳的家規。
高宗自然也不會例外。狡猾的宰相張浚和秦檜就是利用高宗的這個心理，以曆史來提醒高宗，不要忘記列祖列宗的教訓，免得犯錯。他們的目的就是讓高宗明白，如果給嶽飛太多的兵權，那麼有朝一日嶽飛權力達到了頂峰，功蓋天下，而一旦起了謀反之心，那麼想後悔也來不及了。
高宗領悟了他們話裏的意思，毫不遲疑地給嶽飛下了一道詔（zhao）書，收回曾經授予嶽飛的統率淮西軍的命令。這一切都是嶽飛所無法預料的，高宗授予兵權時的情景還清晰地印在腦海，高宗當時殷殷叮嚀的話語還回響在耳邊，可是事情竟然已發生了這樣的變化，怎不令人氣憤？
捧著高宗的詔書，嶽飛雙手抖得很厲害。高宗在這件事上心裏有鬼，所以不好直接麵對嶽飛，就派了張波將嶽飛召至都督行府。在嶽飛義正詞嚴的質問之下，張波也說不出什麼冠冕堂皇的理由，他隻是通知嶽飛，說淮西軍的指揮已有了新的安排，裝作從沒有發生過授權嶽飛統率淮西軍的事情。
幾天之後，朝廷又下了一道命令，通知嶽飛先回鄂州等候命令，而將各路軍並入嶽家軍的計劃也成泡影，北伐金軍之事又要作罷，所有的一切努力都化為烏有。而這一切，都隻是在短短的瞬間發生了，令人不禁心生疑惑。