趙佶聽說遼兵大敗，中京已失，忙命童貫、蔡攸發兵攻遼，意圖收複燕雲，不料上去便打了一次敗仗。
不久，耶律淳死去。趙佶又命童貫、蔡攸進兵，劉延慶為都統製。兵至蘆溝河，遼兵乘風縱火，宋軍不戰而潰，自相踐踏，屍體滿路，長百餘裏，把趙頊（神宗）以來所積儲的軍備損失了十之八九。
宋軍第二次大敗以後，阿骨打越把宋室君臣不放在眼裏，緊跟著就把燕京奪去。
燕京四鄉的老百姓都恨金兵殘暴，紛紛揭竿而起，與金相抗，到處放火，焚燒金兵的糧草營寨。金兵殘殺越厲害，老百姓的反抗也更激烈。趙佶自不量力，又遣趙良嗣、馬政往見阿骨打，不僅想要索取燕雲等州，並還妄想索取五代初劉仁恭送給契丹的營、平、灤三州。
阿骨打因所占地的老百姓反抗，不易統治，正在為難，已然答應給還燕京六州（冀、景、檀、順、涿、易）二十四縣。趙佶君臣還在力爭不已，往返商量，不得解決。阿骨打竟被觸怒，說：“你們定要營、平、灤三州，我連燕京六州也不肯給了。”趙佶君臣見對方要翻臉，方始氣餒答應。
阿骨打看透對方庸懦，乘機又說：“我攻得燕京，每歲收租賦三百萬。現在送給你們，該送我租賦一百萬，補償我的損失。”
趙佶自知理不能勝，力不能抗，隻好定約：每歲輸與金國銀二十萬兩、絹二十萬匹，又別輸燕京代稅錢一百萬緡。燕京財物人口早被金人擄去，宋朝隻獲得空城一座。
金人看出宋朝統兵大將都是糧餉庸才，兵士極少訓練，並有許多強征硬拉的老弱在內，認定不是他的對手，早就打下了掠奪中原的主意。領頭的既然存有野心，下麵的兵將挾著新勝之威，都看宋朝兵將不起。見宋朝官將那樣豪富，中原土地那麼肥沃，越發勾動貪心，屢向邊境一帶焚掠騷擾。
守土將官奉旨不許還擊，樂得逃避，能夠憑城暫守還是好的，有那最無恥的官將，連敵人還未見一個，稍微聽到一點風聲，竟先棄城而逃，等金兵擄搶一空，飽載而歸，他再回來作威作福。並還老著臉皮去向朝廷請功，算是收複了失地。當地百姓既要受到官將的威逼強征，在雙重暴力迫害之下，哪裏還能活下去？就這樣還是不肯投敵，紛紛扶老攜幼，往南逃竄。
臨近邊境的各州府縣，到處布滿了避難的良民。起初官府還想鎮壓驅逐，無奈難民太多，潮湧而至，既恐怕激成變亂，又見到那四野哀鳴、朝不保夕的流離之慘，稍微有點人心的官府，自不忍過分加以淩逼。便是那些貪官汙吏，也是顧慮太多，不敢下那毒手。此外還有一些忠義之士，既不甘心受敵人的殘殺，又不願受官將們的欺淩，便逃往山中，打起義軍旗幟，專與敵人為仇。
嶽飛生當國家多難之際，雖然憤恨朝廷無道，一見百姓所受苦難，再聽到敵人奸淫擄搶的殘酷行為，不由激動了對敵人的仇恨。偏巧張、湯二老已死，王明全家早已遷走，另外一些富戶，多一半逃往南方避難。剩下幾家，禁不起官府常年征募，光景也是越來越差。再像以前那樣辦賑，簡直難如登天。自己也曾找過他們，因為身後無人支持，人微言輕，有的連麵都見不著；即便見著，不等開口，先就告窮訴苦，分文不舍，還要說上一些閑話。空自滿腹悲憤，無計可施。
這日因是嶽和祭日，嶽母看出愛子戀母念家，不願遠出，早和李淑暗中打好主意，等嶽飛哭奠完畢，要往周侗墓上祭奠時，故意問道：“五郎，你上哪裏去？”