這時完顏長之正在進攻隆興府，坐鎮臨安的張鵠接令之後，一麵通知完顏長之，一麵立刻派水軍統製鄒桓、唐準兩人，率領二百艘戰船，和八千水軍，從長江逆江而上，趕去和州支援渡江的金軍。
果然這樣一來，金軍的進攻立刻大見成效，首先在西路軍兵力大增之後，完顏陳和尚立刻分兵兩路，分頭進攻句容和溧水。猛攻三日之後，終於攻下溧水。畢再遇被迫放棄句容，退守秣陵鎮，完顏陳和尚的兵鋒離建康府城下已不足三十裏。
而在另外兩路，有了兩百艘戰船和八千水軍的加入，金軍在長江水麵上的實力也大增，與宋軍的水軍在長江上激戰兩次，自己雖然損失了七十餘艘戰船，兩千多士兵，但宋軍損失的戰船也達到五十艘，傷損士兵一千五百多人。眼看以經無法控製長江。而金軍也在加緊調動人馬，準備船隻，準備在馬家渡、板橋、江塗、大信河口等地同時發動渡江進攻。宋軍的長江防線也岌岌可危。
就在這時，潭州的臨時朝廷也收到了告急，並以樞密院的名義回複建康府，朝廷現在無法出動大軍支援建康府，建康府可守則守，如果不能守，則將人馬撤退到江南西路，鄱陽湖邊，聽候朝廷調遣，撤與不撤，讓李顯忠自行處理。
李顯忠接到命令之後，立刻招集眾將商議，是否退軍的事宜。眾將都認為，如果沒有大軍支援，現在以經很難守住建康府了，因此不如就按樞密院的命令，先撤離建康府，退到江南西路，在那裏可以和江南、荊湖路的禦前駐軍合兵一處，再設法抵抗金軍。
其時收到了樞密院的回複之後，在李顯忠心裏也早有撤軍的打算，現在見眾將的意見統一，都同意撤退，也就立刻決定馬上撤軍。
接下來就安排撤兵的事宜。建康府是大宋南渡之前所設的五京之一，府厙充盈、錢糧眾多，又有六七萬人馬，加上一部份家屬和地方官員，需要撒離的人員不下十餘萬。現在金軍大軍壓境，虎視眈眈，想安平安撤走談和容易。好在隨後李顯忠又接到楊炎的信，知道楊炎率軍在池州駐紮，誰備接應自己。另外還有三千水軍，戰船八十艘，這對於建康府的宋軍來說，真可謂是雪中送碳。
經過眾人商議之後決定，大軍撤退分水陸兩路，同時撒退。由郭振付責水麵船隻調派指揮，又征調了民船一百五十多艘，錢糧、物資和官員、士兵的家眷均由水路撤退，孟宗政率一萬人馬，付責沿岸的掩護。而大隊人馬則由陸上撤退，由陳敏率隊先行，李顯忠居中，由畢再遇和時俊各領五千人馬，付責斷後。商定之後，李顯忠又立刻寫信給楊炎，告訴他撤軍的安排，請他在水陸兩路，都安排人馬接應。
安排完畢之後，各軍立刻開始行動。首先是水軍於十一月初四開始撒退，當天夜晚，孟宗政也派出五股小隊人馬，每隊五百人，在采石一帶偷渡了對岸，在沿江放火，製造混亂。長江北岸多是樹木，而這時以是秋末冬初，天氣幹燥，北風勁吹，火借風勢，立刻迅速展開來，一發而不可收拾。江北正是孛撒的人馬，金軍的大營雖不在樹木集中的地方，但火勢蔓延到大營附近，也十分嚇人。而且隨著火勢越來越大，帶出大量濃煙，嗆人肺腹。
再加上宋軍又分散在四處，敲鑼打鼓，搖旗呐喊，令孛撤一時之間也不知宋軍到底有多少人馬，因此隻派遣數隊小股精銳騎軍，出營試探宋軍虛實。而嚴命各處金軍嚴守大營，不許輕易出戰，並多備水桶，土石之物，以防火勢燒到營中。
而就在同時，郭振也指揮著宋軍的水軍立刻向江北的金軍水軍發動了進攻。金軍的水軍本來就不及宋軍精銳，所用的戰船不是民船，就是海船，性能也遠不及宋軍專用的江船，在白天還可以仗著船多與宋軍周旋，但在晚上卻一籌莫展，黑暗之中，兵不知將，將不知兵，戰船互相撞擊，亂成了一片。而且這時岸上又火光衝天，也不知岸上大營的情況怎樣，頓時人心惶惶，都無心戀戰，紛紛各自逃命。
這時郭振才下令，大隊船隊揚帆啟錨，逆遊直上，向江州進發。
直到天光大亮之後，金軍才發現上當，其實岸上跟本沒有多少宋軍，而江麵上的宋軍船隊也不與金軍舊戰，紛紛調轉船上，向西駛去。這時宋軍的船隊已經開出二十多裏去了。而孟宗政也率領北岸的宋軍，沿岸掩護船隊，一起撤退。