嶽飛正在集中精力抵禦金兵的進犯，不料卻遭到劉光世的誣陷。劉光世本來是援楚戰役的總指揮，但他畏敵如虎，不僅不肯親臨前線，甚至連派主力部隊過江、做出援救姿態的事都沒做。楚州失守，他理應負主要責任。
為了推卸責任，他殺掉率輕兵渡江作戰的偏將劉鎮和王阿喜，給他們扣上不依軍令作戰的罪名。在向朝廷奏報楚州戰役的情況時，又把責任推到嶽飛身上，說嶽飛不聽從指揮，貽誤了戰機而導致援楚戰役的失敗。
宋高宗雖然知道楚州失守的原因，但對這位擁有重兵、名列三大主帥之一的劉光世也無可奈何。
因此，高宗既沒有責罰嶽飛，也沒有責怪劉光世，仍然要劉光世領導江北各鎮撫使，加強江北的聯係和防務，還指示嶽飛，要全力固守泰州。但是，劉光世並沒有按朝廷的指示去做，仍然不給嶽飛增兵撥糧。
金軍攻克楚州後，集中兵力把楚州附近的抗金義軍掃蕩一空，這樣他們就沒有了後顧之憂。隨後，金兵統帥撻懶親率二十萬大軍，向嶽飛駐守的泰州撲來。
就在金軍自楚州沿運河南下襲擊嶽家軍之時，鼉（tuo）潭湖（今江蘇高郵北）以張榮為首的一支義軍擋住了金軍的去路。
張榮原為梁山泊漁民，金滅北宋後，他聚集了幾百人起來抗擊金軍，因為作戰驍勇，人們就稱他為“張敵萬”。
金軍占領揚州後，張榮率義軍乘船沿清河南下，駐紮在鼉潭湖水域，用黏泥茭草築成水寨，最多時聚集了一萬多人，在承、楚二州之間的樊良、白馬、新開等湖泊內襲擊金軍，屢次獲勝。
這次金軍到達後，利用十一月湖水冰凍之機，進攻鼉潭湖義軍水寨。經過激戰，張榮孤軍終於抵擋不住金軍的強大攻勢，為了保存實力，隻好燒毀積蓄的物資，放棄水寨，轉移到通州、泰州境內。
泰州地臨沿海，沒有山險可依，也沒有糧草可供補給，劉光世不給予援助，以致嶽家軍的裝備非常差，許多士兵在寒冷的冬季都沒有棉衣穿，處境十分困難。嶽飛把金軍進攻的消息報告給朝廷，希望朝廷能給予援助。但朝廷的答複是，能打就打，能守就守，實在不行就撤退。
嶽飛仔細分析了形勢，感到敵我的力量對比實在太懸殊，就決定放棄泰州城向南撤退，以便保存實力。
在柴墟鎮有一道九裏多長的城牆，嶽飛打算以此為屏障抗擊金軍，掩護幾十萬百姓渡江南撤。金兵追到柴墟鎮，嶽飛率軍與金兵展開激戰，金軍把嶽家軍層層包圍，企圖依靠人多勢眾全殲嶽家軍。
嶽飛奮勇殺敵，往來衝突，身負兩處槍傷，仍然與全體將士並肩死戰，殺死了許多金兵，致使河水都變成了紅色。金兵的進攻再一次被擊退。
嶽飛親自率領兩百名精銳騎兵斷後，催促大批百姓盡快過江。部隊和百姓順利渡過長江，脫離了險境。回到江南的嶽家軍，奉命在江陰駐防待命。從此，嶽飛的軍事生涯進入了另一個階段。