八月，淮北忠義兵魏勝領兵收複海州（治今江蘇連雲港西南）。李寶聞訊，依宋製援魏勝為海州知事，又自請率領120艘戰船，3000名弓弩手，乘船北上。不料船隊自江陰（今屬江蘇）出發後，遇大風浪。李寶船隊退回，停泊於明州關澳避風，稍事休整後，重新鼓帆北上。劉綺不顧自己年邁，統兵沿江駐守於揚州，且派統製王剛領兵5000，駐守於寶應（今屬江蘇）。宋廷又以吳拱為鄂州諸軍都統製；成閔為湖北、京西製置使，節製兩路軍馬。
九月，西路金軍首先南侵大散關，駐於青野原的吳磷立刻派大將高鬆等領兵救援，迎擊金軍。同時又派部將彭青率軍奔赴寶雞（今屬陝西）渭河，連夜襲擊金軍橋頭寨，大敗金軍。隨後，又派部將劉海收複秦州（治今甘肅天水），金守將蕭濟投降。吳磷部將曹淋一舉收複洮州（治今甘肅臨潭），彭青再收複隴州（治今陝西千陽西北）。從而遏製了西路金軍的進攻勢頭。中路金軍南下攻入宋通化軍，守將張超率所部英勇抗擊，殺退金軍，奪回城池。金帝完顏亮所統金軍主力，亦向兩淮進兵。他以尚書右丞李通為大都督，令於淮河上架設浮橋，指揮金軍渡淮南下，號稱百萬大軍。
抱病進駐揚州的劉綺很快派兵北上，除寶應外。又於盱眙（今屬江蘇）、淮陰駐紮軍隊，以加強了淮東的防務。然而負責淮西防務的建康府都統王權卻始終呆在建康（今江蘇南京）。遲遲不進兵江北。經劉綺再三督催，王權方無可奈何地與妻妾淒淒慘慘地揮淚告別，領兵進駐江北的和州（治今安徽和縣），卻又按兵不動。劉綺再次下令催促，王權才到達廬州（治今安徽合肥），但又不作任何設防，淮西地區的防務依舊十分空虛。十月。劉綺統兵趕赴淮陰，此時金軍亦到達淮河北岸，雙方立刻劍拔弩張。因劉綺已精心部署，東路金軍遂受阻予淮河，不得南進。可中路金軍卻因王權失職，從容渡淮，推進淮西，猶入無人之境。王權得知金軍渡淮，慌忙自廬州南逃和州，隨後又自和州逃回建康。金軍一路無阻，迅速進兵至滁縣（今安徽滁州），兵臨長江。由於淮西失陷，宋廷急令劉綺退兵，回守江防。正於前線指揮抗金作戰的劉綺，接到朝廷“金字牌”後，知金軍已入淮西，王權臨陣南逃，江南防務空虛，隻得領兵退回揚州。
金軍渡淮南下。王權棄廬州，劉綺回防江南的消息，使宋廷內外大為震驚與恐慌。宋帝趙構甚至準備登船逃往海上避難，陳康伯堅決反對退卻，力主宋帝親征。朝廷文武官員紛紛送家眷離開臨安，四下躲避，唯有陳康伯與國子司業黃中的家眷未撤離。趙構見狀，被迫表示“親征”，遂任命知樞密院事葉義問督視江淮軍馬，中書舍人虞允文為參謀軍事。時金軍已南下攻占真州（治今江蘇六合）、揚州，劉綺退守瓜洲（今江蘇揚州西南）。為表示抗金的決心，穩定軍心，劉綺特將妻、子從鎮江（今屬江蘇）接到瓜洲。然劉綺畢竟年邁且病重，而宋帝令他專守長江，故隻得率軍退守鎮江。自此淮西、淮南相繼陷落。
正值金帝完顏亮長驅直入，直逼江南之時，金征南萬戶完顏富壽、完顏謀衍等將領統所部還師東京遼陽府（今遼寧遼陽），發動政變，擁立東京留守完顏雍為帝，是為金世宗。完顏雍即位後，改元大定，下詔廢黜海陵王完顏亮，很快黃河以北地區相繼歸附於完顏雍。完顏亮陷於困境，氣急敗壞，孤注一擲要與宋軍決一死戰。
十一月，完顏亮統兵直進抵長江北岸，日夜打造戰船，準備自采石（今安徽馬鞍山東北）渡江。宋廷因王權失職，將他解職罷官，召回臨安，另派將領李顯忠接替。督視江淮軍馬府參謀軍事虞允文奉命前往蕪湖（今屬安徽）督促李顯忠赴任，且代表宋廷到采石勞軍。隨王權南逃的所部18000人方退至采石，因主帥已應召而去，新帥尚未到任，軍中無帥，士氣低落。虞允文抵達采石時，軍士三五成群，散布江岸邊，解鞍寬甲坐於道旁，毫無鬥誌。虞允文以為坐等李顯忠到任必將貽誤軍機，遂召集諸將，激勵鬥誌。眾人道：“今既有主，請死戰。”亦有人認為：“公受命犒師，不受命督戰，他人壞之，公任其咎乎？”虞允文斥責道：“危及社稷，吾將安避？”②