在開封及附近的州縣，宋、金雙方進行了激烈的戰鬥。盡管宗澤的東京留守司軍四麵受敵，但宗澤坐鎮留守司從容地調動軍隊部署戰鬥，使金軍無力攻下開封。正月裏，開封市民甚至一如往時張燈結彩。嶽飛從正月開始，參加了的開封北麵門戶滑州一帶的戰事，接連在胙城縣（今河南延津縣東北）、衛州汲縣西的黑龍潭等地獲勝。
建炎二年四月（1128年5月）以後，天氣開始炎熱，金軍撤退，宗澤準備北伐。王彥的八字軍奉宗澤之命移屯滑州。五馬山的首領馬擴，也攜帶信王趙榛的信前來東京留守司。宗澤和王彥、馬擴等人共同製訂了北伐的計劃，但很不幸的是，宗澤於建炎二年七月初（1128年8月）病逝，其副手杜充接任東京留守。
嶽飛按照宗澤生前的部署，率領畢進等部將，隨同宗澤助手主管侍衛步軍司公事閭勍，於建炎二年七月十五日進駐西京河南府，負責保護那裏的北宋皇陵。八月（1128年9月），閭勍命嶽飛再去汜水關禦敵。嶽飛又大勝來犯金軍，以功轉“從七品武功郎”，升至諸司副使的最高一階。建炎二年歲末，嶽飛奉東京留守司的命令離開閭勍返回開封。
嶽飛返回開封後，杜充立即命令嶽飛去消滅張用等部。張用是嶽飛的湯陰同鄉，曾當過湯陰的“弓手”（類似今之巡警），並和曹成、李宏、馬友紹等是拜把兄弟，有幾萬兵力，王善部也從一旁保護。嶽飛不願自相殘殺，以“兵寡不敵”為理由，婉言推辭，但杜充以軍法問斬相威脅，勒令嶽飛出兵。
嶽飛有以往擅自脫離王彥的教訓，無法抗命，隻能出戰，以不到千人的部眾擊退張用、王善部，解了杜充之圍，以功升“正七品諸司正使武經大夫”。接著，嶽飛又奉命解救盜匪杜叔五、孫海包圍的東明縣（今河南蘭考縣北），活捉了兩個匪首，升“轉武略大夫”、借英州刺史。王善、張用退兵後，轉攻淮寧府（治宛丘，今河南淮陽縣）久攻不下，便引軍離去。嶽飛再去救援淮寧府，與王善軍戰於清河，俘虜孫勝、孫清等，因功雙轉升“轉武德大夫”，真授英州刺史。嶽飛於建炎三年（1129年）六月下旬剛回到開封，就接到杜充的命令要撤往建康府。嶽飛苦勸：“中原地尺寸不可棄，今一舉足，此地非我有，他日欲複取之，非數十萬眾不可。”但無用，又由於脫離王彥的教訓不能違抗上級，隻能隨杜充南下。金國由元帥左監軍完顏昌領軍進攻淮南，而由完顏宗弼領軍直接進攻江南。完顏宗弼兵分兩路，西路由完顏拔離速、完顏豰英、耶律馬五率領，十月由黃州渡江屠洪州，劫掠長江中遊的湖北、江西一帶；東路則由完顏宗弼親自率領，直搗趙構所在的臨安。
十一月，杜充的水軍進攻割據一方的李成，金軍支援李成擄獲宋軍大量船艦。完顏宗弼在攻打太平州（今安徽當塗縣）的采石渡和慈湖不果後，轉道建康西南的馬家渡渡過長江進入江南。
杜充自己深居簡出不做準備，嶽飛泣諫：“勍虜大敵，近在淮南，睥睨長江，包藏不淺。臥薪之勢，莫甚於此時，而相公乃終日宴居，不省兵事。萬一敵人窺吾之怠，而舉兵乘之，相公既不躬其事，能保諸將之用命乎？諸將既不用命，金陵失守，相公能複高枕於此乎？雖飛以孤軍效命，亦無補於國家矣！”但也無濟於事。
聽到金軍渡江的消息後，杜充隻派都統製陳淬率嶽飛、戚方等將官統兵二萬奔赴馬家渡，又派王伯龍的一萬三千人策應。十一月二十日（1130年1月1日），陳淬率軍力戰，嶽飛率右軍和金國漢軍萬夫長對陣，但陳淬戰死，諸將皆潰，隻有嶽飛力戰，整軍退屯建康東北的鍾山。