奸臣汪伯彥、黃潛善正和一些貴客在廟裏聽和尚克勤講經說法，希圖佛菩薩保佑他們升官發財，富貴無窮。剛把經聽完，正受眾人的奉承，滿心得意，氣焰甚高，忽聽堂吏大呼：“金兵殺來，聖駕已先走了！”汪、黃二人相顧倉皇，麵無人色，匆匆上馬，往南逃竄。城中百姓得信，紛紛奪門外出。人多踐踏，死傷甚眾。個個痛恨奸賊，咒罵不絕。司馬卿黃愕逃到江邊，軍士們誤當作是黃潛善，大罵：“你這個誤國害民的奸賊！”黃愕連忙分辯，人頭已被斬落。
趙構君臣匆匆逃亡，新置辦的行宮陳設和朝廷儀仗全被敵兵掠去，百姓遭殃，更不必說。太常少卿李陵搶了九廟神主逃走，出城被金兵一追，連趙氏祖宗牌位也被拋棄。其實金兵前鋒隻五百人，趙構真要率領三軍固守一戰，並無敗理。都是趙構畏敵如虎，才至於此。
宗翰看準宋室君臣庸懦無能，隻用三千人馬，便將揚州行在（皇帝逃亡的所在地稱為行在，是舞文弄墨、避諱逃亡的門麵話）不戰而得，一麵卻以全軍之力將韓世忠戰敗，以致江淮一帶全成了敵騎蹂躪之地，被禍害的人命財物不可數計。
金人因揚州百姓和一些無人統率的殘軍紛紛起來抗敵，自知立腳不住，便縱兵擄搶，把揚州城燒了個幹淨，方始退兵而去。
趙構一路逃竄到了臨安（杭州），方始停住。汪、黃二奸知道堅持和議，闖下這場大禍，依然恬不知恥，聯名上疏，說：“當此國家多難之時，不敢求退。”妄想保持他的祿位。無奈公論不容，中丞張澂奏論二奸賊有二十行大罪，主要是禍國殃民，陷害忠良，貶竄李綱，又對宗澤百般作梗，使他費盡心力招撫來抗敵的幾十萬忠義之士，全數瓦解而去。趙構雖想留著汪、黃二奸為未來求和之用，無奈群情憤激，迫不得已，才將汪、黃二奸貶去。
金人不久便命漢奸劉豫知東平府，節製河南州郡，劉豫的兒子劉麟知濟南府，並命大將達賚屯兵險要之處，暗中監視。後來見劉豫貪圖富貴，死心塌地做漢奸，想拿中國的兵攻打中國，又立他當了齊國皇帝，與宋為敵。劉豫對金主自稱“兒臣”，曆史上的“兒皇帝”，劉豫也是一個。
當年六月底，金兀術大舉南侵，連破磁，單、密州，聲勢比以前更盛。杜充先聽兀術帶領數十萬金兵就要殺來，越想越膽寒，打算丟掉東京，逃往建康。嶽飛力勸，大意說：“中原之地，尺寸不可棄……留守……且不守此，他人奈何？今留守一舉足，此地皆非我有矣。他日欲複取之，非捐數十萬之眾不可得也。”
杜充不聽，以軍令強迫嶽飛隨往建康。嶽飛部下連新收撫的兵將不過三千，杜充一走，軍糧先無著落，暫時隻有保全實力，別無良策。恰值牛皋也由磁州敗陣退回，說起這次兀術以傾國之兵來犯，自己雖然上來連勝兩次，士卒傷亡甚多。主將又因糧缺勢孤，棄城而逃。這才帶了孤軍，一路突圍轉戰而來。河北諸郡淪陷於敵，都是兵少缺糧、朝廷不管之故。互相憤慨了一陣，隻得隨軍南去。嶽飛奉命當前鋒，中途連破李成等叛賊於鐵路步（鎮）、盤城（縣）、滁州等地。
到了十月，趙構又由臨安逃往越州（紹興）。杜充聽嶽飛之勸，一路收集殘兵，居然也有十幾萬人。嶽飛部下連同牛皋帶來的人馬，也有一萬左右。江浙一帶的居民，因杜充部下有嶽飛等勇將，都想靠他保衛長江，不使敵騎南渡。杜充隻是殘殺軍民立威，毫無禦敵之策。
這日，金兀術與叛賊李成合攻烏江。杜充聞報，嚇得閉門不出。諸將屢次請他出兵抗戰，概不答覆。嶽飛又急又怒，一直衝進他的臥室，再三力勸，說：“勁虜大敵，近在淮南，睥睨長江，包藏不淺。臥薪之勢，莫甚於此時。而相公乃終日晏居，不省兵事。萬一敵人窺吾之怠而舉兵乘之，相公既不躬其事，能保諸將之用命乎？諸將既不用命，金陵失守，相公能複高枕於此乎？”說時，聲淚俱下。
杜充早已準備降敵，因嶽飛兵力最強，不敢得罪，表麵敷衍，卻不出來。等金兵由馬家渡渡過長江，才派嶽飛等和都統製陳淬一同出戰。杜充的心腹大將王曼，聽說杜充有降敵之意，帶了所部數萬人馬，當先逃退。凡是杜充部下的將官，全部潰散，隻有嶽飛這一支人馬與敵人死戰，非但沒有援兵輜重，糧草也被逃將帶走。敵人雖被暫時打退，部下將士全都沒有吃的，隻得把全軍夜屯鍾山，歇息了多半夜。天還未明，突然往攻敵營，把金兵殺了好幾千。陳淬部將聽說杜充把建康府庫搬光，帶領全家渡江降敵的消息，人心浮動，多想叛逃。戚方正在陳淬部下，首先帶了一支人馬去當強盜。
嶽飛得信，立時召請兩軍將士發話，大意說：“我輩荷國厚恩，當以忠義報國，立功名，書竹帛，死且不朽……江左形勝之地，使胡虜盜據，何以立國？今日之事，有死無二，輒出此門者斬！”說到慷慨激昂之處，眾皆感動，不敢再有異誌。