卻說兀術敗回汴京，再議整軍迎敵，偏諸將垂頭喪氣，莫敢言戰。兀術複傳檄河北，調集諸路兵士，亦沒人到來。是時中原一帶，如磁、相、澤、潞、晉、絳、紛、隰諸境，多響應嶽家軍，遍懸嶽字旗幟，父老百姓，爭備糗糧，饋送義軍。就是金驍將烏陵噶思謀，及統製王鎮，統領崔慶，偏將李凱、崔虎、葉旺等，俱有意降宋。還有龍虎大王以下的將官忄乞查、（一譯作噶克察。）千戶高勇等，亦密受飛旗榜，連韓常也欲率眾內附。兀術自知危急，便長歎道：“我自帶兵以來，從未這等敗衄，今已至此，還有何言！”隨即帶領親卒，乘馬欲奔。方擬出城，忽有一書生，叩馬諫道：“太子毋走！嶽少保且退！”兀術在馬上答道：“嶽少保隻用五百騎，能破我兵十萬，汴京人士，日夕望他到來，我難道坐待俘囚，不管生死麼？”書生笑道：“太子說錯了。從古未有權臣在內，大將能立功於外。嶽少保尚且不免，怎得成功哩？”（這書生不知誰氏，可惜姓名不傳。）這數語，提醒兀術，便返轡回入，仍留汴京。
那時氣吞金虜的嶽元帥，正召諭諸將，整裝出發，且傳語道：“直抵黃龍府，與諸君痛飲。”言未已，忽有朝使到來，促飛班師。飛問朝使道：“這是何故？”朝使答道：“秦丞相與金議和，已有頭緒，所以請少保還朝。”飛憤然道：“恢複中原，十得七八，奈何中道班師？”朝使默然而去。飛即日上疏，略言：“金人喪膽，盡棄輜重，疾走渡河。現在豪傑向風，士卒用命，正當猛進圖功，時不再來，機難輕失”雲雲。檜得飛奏，非常懊惱，他想了一個釜底抽薪的計策，先致張俊、楊沂中等，令他速回，然後上言：“飛隻孤軍，不應久留。”高宗也糊糊塗塗的應了一聲。檜遂連下十二道金牌，催飛速歸。看官道什麼叫作金牌？乃係牌上寫著金字，凡遇緊急命令，即用此牌。飛一日接奉金牌十二道，不覺悲憤交集，向東再拜道：“十載功勞，一旦廢棄，奈何，奈何？”拜畢泣下，（閱至此，令人亦廢書三歎。）遂下令班師。百姓遮馬挽留，且泣且訴道：“我等戴香盆，運糧草，迎接官軍，金人早已知曉。相公若去，我輩無噍類了。”飛亦悲泣，取金牌指示著：“我食君祿，盡君事，既奉君命，不敢擅留。”百姓聽了飛言，頓時哭聲震野。飛乃下令道：“願從我去，速即整裝，我當再待五日。”大眾齊聲應命。飛複下馬暫留，至五日期滿，因即啟程。百姓隨軍南行，仿佛如市。飛亟從途次拜本，請將漢上六郡閑田，俾民暫住，總算複旨允準。
兀術聞飛已退軍，複分道出兵，把江南新複州郡，盡行奪去。及飛至鄂，聞知寇警，越加憤悒，因奏請罷免兵權，高宗不許。嗣由廬州入覲，經高宗問及戰狀，兼慰諭數語。飛惟叩頭拜謝，並不道及自已戰功。退朝後，仍靜待後命。秦檜複遣使諭韓世忠等，罷兵還鎮，且貶秘閣修撰張九成等官階。九成素不主和議，至是與同僚喻樗、陳剛中、淩景夏、樊光遠、毛叔度、元盥等六人，一同降黜。
宋廷專意與金人議和，偏金兀術留屯京、亳，出入許、鄭各州，調集兩河軍與舊部，凡十餘萬，再圖大舉。撤離喝攻涇州，不克，轉破慶陽、河東。經略使王忠植率兵往援，為叛將趙惟清所執，送至金軍，忠植不屈遇害，兀術聞慶陽得手，也南向出師，攻陷壽春，且渡淮入廬州。有詔令張俊、楊沂中馳救淮西，嶽飛進駐江州，且飭韓世忠、劉钅奇亦督兵出援。（既招之來，胡為麾之使去？）張俊部將王德。聞兀術前鋒已至曆陽，將到江上，急率所部，渡采石磯，夜入和州。俊督軍繼進，兀術退保昭關，尋複來爭和州，為俊所敗。王德又追擊兀術，連獲勝仗，收複含山及昭關。時劉钅奇亦自太平渡江，與張俊、楊沂中會議，謀複廬州，钅奇先引兵青溪，兩戰皆捷。兀術率騎兵十萬，駐紮柘皋。柘皋地麵廣坦，利於馳驟，所以兀術駐著，專待宋師。钅奇進兵石梁河，與兀術夾水列陣。河通巢湖，廣約二丈，钅奇命曳薪壘橋，頃刻即成，遂遣甲士數隊，逾橋臥槍而坐。且遣使促張俊、楊沂中趕即進軍。翌日，楊沂中及王德、田師中等率軍馳至，惟俊獨後期。钅奇與諸將分軍為三，渡河擊敵，師中欲俟俊至，德奮然道：“事當乘機。何必再待！”當下與钅奇上馬監河，沂中繼進。兀術將騎兵分為兩翼，夾道而陣，德語钅奇道：“敵騎右陣較堅，我獨先擊敵右。”遂麾軍徑渡，首犯敵鋒。一敵將被甲躍馬，出迎王德，德引弓注射，一發即殪，因大呼直前，衝入敵陣。諸軍亦鼓噪而進，敵眾辟易。兀術複用拐子馬來戰，（不怕前時麻紮刀耶？）德率眾鏖鬥。沂中道：“虜恃弓矢，我有一法，可以製敵。”因令萬人各持長斧，排列如牆，一鼓齊上，各斫馬足。敵騎東倒西歪，當然不能成列，便即潰亂。钅奇、德、沂中三路並擊，殺得金人積屍如山，流血成渠。金兵潰至東山，正思小憩，忽後麵追兵又至，回頭一瞧，乃是劉字及王字旗號，不禁大驚道：“這是順昌旗幟，還有王夜叉同來，如何可當？快避走罷！”隨即退保紫金山。