在之後的幾月內，嶽飛接受回守東京皇陵一職，杜充對嶽飛的猜忌與嫉恨相續緩和一些，但這些都能隱忍下來，總勝過在與金人拚死拚活，全被此人拿作當予向朝廷加官進爵，莫大功勞皆被此人獨大，好過為他人作嫁衣裳這份窩囊氣。
建炎三年正月起，宗望早亡；宗翰因忌憚大宋疆土遼闊，因擒獲兩宮數千人以及奇珍異寶而返，激起漢夏上下民憤，而單憑金人實力不足以一舉盡奪，當初與西夏聯盟攻宋一時又事出多舛，耶律大石帶領遼人餘部與西夏在西北膠著不下，漸漸地采取“以漢夷漢”的方針來製約大宋，（一心想扶持劉豫、張邦昌等傀儡政權來治理河北諸地漢人，收買一群南朝奸臣作為自己的心腹，以便以後令整個大宋向金人臣服的企圖，當時便是他將秦檜推薦給完顏昌。）最後達至一統天下的願望，宋趙構兩次致信這位征南大元帥，誠心投降稱臣，倒也想趁此休整；此時大金又以拔離速、宗弻、韃懶（完顏昌）、馬五、阿裏、蒲魯渾等兵分五路向大宋繼續用兵，趙構一聞金人大軍攻至，幾次移鑾南遷，先由應天府逃至揚州，再由揚州逃離臨安，再由臨安逃至海上，特別是完顏宗弻這位太祖的四太子最為作戰勇猛，無往不利，采用“搜山檢海”的對策，務必將大宋連根拔起。
就在完顏宗弻一路大軍先後攻占徐州、淮陽、泗州等地進襲揚州，二月初三，準備移鑾南遷揚州的趙構聽聞金人攻陷天長軍的震驚消息後，驚慌失措，趙構一聽揚州也難保身家性命，嚇得心膽俱裂，繼續往臨安逃命，不料劉光世、韓世忠、劉琦、張浚等重要武將分守各路，以據強敵，趙構身邊扈衛之責便落入苗傅、劉正彥二人身上，因不滿高宗等人的媾和金人等醜陋行徑，於臨安篡位逼宮，挾持隆祐皇太後之名廢除高宗趙構，以年僅三歲的內詳太子繼位，右隆祐孟太後垂簾聽政，改元“明授元年”。
二人領兵襲殺了執掌樞密使王淵，強迫高宗讓出帝位，交出宦官康履，後殺之，將高宗軟禁起來。由隆祐太後垂簾聽政，當時秀州駐兵的韓世忠之妻梁紅玉也被扣壓在內，梁紅玉當時身懷六甲，難以與二賊抗衡，唯有借助機警與苗、劉二人周旋，此消息舉國震動，外敵強橫將至，又起內亂，身處河北防衛使的杜充也想假借勤王之名向江南逃竄，早日回到趙構身邊，麵對此人欲盡棄河北等地的防衛，就連嶽飛也無可奈何。
杜充安排嶽飛前往開封守皇陵之時，對不滿之人幾乎都鏟除殆盡，仗借著他獨攬大權，對王薄、張用等人義軍大肆鎮壓，嶽飛不忍見到同室操戈的淒慘景象發生，杜充便羅織罪名要將嶽飛概不受命一罪砍頭，曾在與王彥軍營內吃了抗命不從的大虧，嶽飛在杜充的強行壓製下平複了王善、張用等部，令淮河以北幾乎落入杜充之手，最後逼得王善走投無路，投靠金人報仇。
皇陵護衛營內，嶽飛與其部將張憲、王貴等七八人共商大事，每人臉上無不有恨無處泄，怒不可遏的怨歎，李吟風與畢雅涵兩位年輕佳人也被請到宣德宮前，看出嶽飛對李吟風二人並未存有半絲猜疑。
一到殿前，李吟風就對嶽飛開門見山地道：“大哥叫我兩人前來必定是為了金鑾被小人謀權篡位一事而坐立不安，各路守備相續前往臨安勤王，但杜充早有南逃的打算，此番受命隨行勤王一事足令大哥進退維穀，我也正巧想與大哥等諸位商量一番。但不知大哥有何打算？”嶽飛長籲短歎不已，還未待他開口，王貴急躁地說道：“我們為杜充利用的還不夠嗎？為他鋪定前程，掃除障礙，弄的天怒人怨，河北等地義軍都背後戟指大罵我等在為虎作倀。杜充要去護住他的靠山，生怕爵位不保，我等前去還不是被人當刀使，此去險惡異常，依我意思，萬萬不能去。”張憲等人也是這麼認為的，但嶽飛沒有開口，下屬也不敢越俎代庖。