完顏亮軍事上遭到慘敗，意欲使離間計瓦解宋軍。遂修書信一封送至宋營。此時他尚不知王權已去信仍致王權雲：前時我率大軍南下，你不敢交鋒，可見你懼怕於我。現在，我來到江邊，見宋兵並不很多。昨日交鋒，卻見你水軍進退有方，對你甚為欣賞，你若率軍投降，保你高官厚祿；你若執迷不悟，我將從瓜州渡江，到時對你決不寬饒。虞允文認破了完顏亮的離間計，在與李顯忠商議後，決定以李顯忠名義書一回信，信中雲：前王權誤國，臨陣逃脫，使得你如此囂張狂妄。現朝廷已革去王權之職，統兵將軍已換成我李顯忠，難道你不知我大名？倘若你等在瓜州渡江，我定會在那裏與你一決雌雄。完顏亮讀後，旁顧左右曰：我隻知南宋老將劉，怎麼李顯忠也這般厲害？左右諸將無詞對符號。一偏校道：莫非是李世輔？完顏亮吃驚不小，大罵左右：你們勸我渡江，難道不知李世輔麼？因此氣得暴跳如雷，連殺幾名將士泄憤。隨即率殘兵至淮東，企圖從瓜州渡江。
完顏亮何以會懼怕李顯忠？李顯忠原名李世輔，父親李永奇為南宋延安巡檢使。顯忠年十七，即隨父出入行陣，頗有膽略。後金人陷延安，授顯忠父子官職，李永奇常私下對顯忠道：“我為宋臣，豈可為金人所用？”父子倆時刻尋機歸宋。紹興九年，因李顯忠欲率軍歸宋，金人將李永奇一家三百口全部殺害。李顯忠遂用南宋紹興年號，招兵買馬，得萬人，緝得殺父仇人，碎屍泄憤，股南宋四川宣撫使吳。吳送其至臨安見高宗，高宗賜名顯忠，授都統製。一次李顯忠、張俊與金兀術戰於廬江，兀術對部將雲：“李世輔歸宋後還不曾立功，此人勇猛異常，宜且避之！”乃焚廬江而走。紹興二十九年，李顯忠率二百騎兵在安豐戰敗金將小韓將軍兵五千人，後來金又增兵萬餘，李顯忠率騎兵衝殺，自早至午，以大刀砍敵陣，“殺獲甚眾，掩入淮者不可計”（以上俱引自《宋史·李顯忠傳》）。王權敗退，南宋以李顯忠代之，也有借重其勇猛為金人所憚之因素。
完顏亮自和州去淮東後，虞允文以劉臥病，成閔未接任，鎮江極為空虛之故，要求李顯忠撥以兵士戰船，由他率領星夜入淮東增援。李顯忠當即撥出步兵一萬六千人和部分水軍船隻歸虞允文指揮。李顯忠自己則率萬餘人渡江收複淮西州郡。
十一月十六日，虞允文至鎮江，拜會才將劉。劉在病塌上握住虞允文手道：“想不到朝廷養兵三十年，大功反出於你這樣一個儒生，真叫我們武將羞死。”（《宋史·虞允文傳》）虞允文將馬船改為戰船，命張深守滁河口，扼大江入口處，苗定駐下蜀為援。同時與楊存中率宋軍加緊操練。十一月二十六日，完顏亮下令：“明日全軍渡江，後退者死。”將士們暗中密謀以為：“進攻則被宋軍殺死，後退將被完顏亮殺死，”不如“殺完顏亮與南宋講和，然後各自回家，這是唯一的生路”（《宋史·虞允文傳》）。二十七日黎明，起事將士們湧入完顏亮之禦營，一箭射中完顏亮，然後用繩子將其勒死，取其衣襟裹住燒為灰燼。金軍殺死完顏亮後，向北退兵三十裏，遣使與南宋議和。完顏亮南侵之計，終以宋軍采石大捷和其自己斃命而結束。
為了紀念虞允文指揮采石大捷的功績，在他死後四十二年的南宋嘉定九年（1216），常平使李道傳在采石廣濟寺西側建虞忠肅公祠。淳佑九年（1249），虞允文曾孫虞憑供職池州，請求製置使吳注釋、太平郡守張琰，修祠立碑。幾年後，太平郡守馬光祖改建記號地寶積山之西，宋理宗趙昀賜廟額“英烈”二字。元代，虞公祠被毀。至明景泰三年（1452）太平積壓府李鬱在寶積山故址重建，並確定每年十一月一日為祭祀日。