為了回援金國太子完顏宜，金兀術不得不放棄廬州，撤回人馬，偽齊的秋季攻勢隨之瓦解。嶽飛上書朝廷“……敵國喪，宜收複失地”的奏請，並沒有得到南宋朝廷的同意，原因很簡單，那就是“大聖大王”楊幺在洞庭湖越來越猖獗，隊伍已經發展壯大到幾十萬人（當然，楊幺的人馬亦兵亦民，甚至包括家屬、小孩），高宗趙構認為：“湖匪為腹心害，不先去之，無以立國（這大概就是蔣介石的‘攘外必先安內’最早版本）。”
自靖康之難以來，一個頗為強悍的大宋王朝，已經變得千瘡百孔，滿目瘡痍。二帝被擄之後，有的州官投靠金人，有的州官攜家逃遁，有的州官發生叛亂，盜匪四起，民不聊生。中原有杜叔五、李成之亂，福建路有範汝為、曹成之亂，荊湖路有孔彥舟、楊幺之亂，勢大者自立為王，鍾相、楊幺就是這樣的混世魔王。
楊幺的人馬為什麼會如此迅速地壯大起來？原來，靖康之難時，鍾相長子鍾子昂招募一支三百人的勤王隊伍，到達趙構即位的南京應天府後，初登帝位的趙構不僅將大元帥府的人馬重新編製，而且為了安撫百姓，將鍾子昂帶領的三百人隊伍隨即遣散。但鍾相父子看到天下已經大亂，便將原來招募的“百姓兵”團集在家，結成隊伍，多置旗幟、器甲，打著“勤王”的旗號，作亂世之資。
建炎四年二月，原出身盜匪的京東西路東平府鈐轄孔彥舟作亂，並殺到鼎州北麵的澧州。鍾相乘著地方官逃遁的機會，也發動叛亂，自立為楚王，建立了割據政權，並很快占據了洞庭湖周邊的大部分州、縣，包括鼎州全境的武陵、桃源、辰陽、沅江。
因為時局動蕩不安，百姓為求自保，紛紛加入到鍾相父子的隊伍中來，鍾相的地盤逐漸發展到澧州全境的澧陽、石門、安鄉、慈利四縣，荊南府的枝江、鬆滋、石首、公安和峽州宜都縣，嶽州華容縣，辰州沅陵縣，潭州的益陽、寧鄉、湘陰、安化等，也盡在鍾相父子的手中。
俗話說得好：臥榻之旁豈容他人鼾睡。為了搶奪地盤，盜匪出身的孔彥舟，如何能夠容忍鍾相父子與自己爭地盤，一來二去，兩軍發生火並，鍾相在與孔彥舟的交鋒中，舟船兵甲不如孔彥舟銳利，不懂治軍之法，慘遭大敗，孔彥舟軍俘虜並處死了鍾相及其妻伊氏、長子鍾子昂，然後北上投靠了偽齊。
鍾相死後，澧州的餘部楊太轉移到辰陽縣，和鍾相次子鍾子義一起形成了一股較大的勢力。鍾子義被稱為“太子”，封黃誠為軍師、左仆射，楊欽為軍馬太尉，設總寨於寶台山，楊太、夏誠、楊華、楊廣、李合戎、英宣、田明、周倫、劉衡、金琮、劉詵、黃佐等十幾人充當首領，因為楊太在眾首領中年齡最小，遂被稱為楊幺。此時，孔彥舟離去，能夠稱霸洞庭的隻有鍾子義楊幺等人，人馬、地盤迅速擴張。
建炎四年六月，宋廷任命程昌寓為鼎州澧州鎮撫使兼鼎州知州，擔負剿匪大任。聽說南宋朝廷派兵來圍剿自己，鍾子昂多番鼓噪、恐嚇、拉攏被孔彥舟衝散的人馬，集結了八萬之眾，伐木為船，壘土成寨，與程昌寓打起襲擾戰，沿湖一帶，寨柵林立，風帆櫛次，鋤鐮並舉，聲威大震，由於鍾子義的人馬熟悉地形，善於泅渡，將程昌寓的官軍打得大敗。
程昌寓大敗，趙構心中不悅，為了保住頭上的這頂烏紗，昱年一月，程昌寓再次整頓人馬前來剿滅鍾子義、楊幺等人，鍾子義楊幺等人瞅準季節變化，水漲入湖，水落上岸，將平庸無能的程昌寓弄得精疲力竭，最後，程昌寓不得不采用大宋最拿手的辦法——招安，招降了鍾子義身旁的大將楊華，鍾子義的權利逐漸被架空，實際*控洞庭湖的人，就是大聖大王——楊幺。
為了剿滅湖匪，高宗趙構多次想派嶽飛前往荊湖路鎮壓楊幺，但是，淮南路不斷遭受偽齊的襲擾，趙構不得不放棄嶽飛軍。紹興三年，朝廷任命王燮為荊南府潭州鼎州澧州嶽州鄂州製置使，以其“神武前軍”一萬多人為主，共五萬多人馬圍剿楊幺。但是，王燮的“神武前軍”基本是半軍半匪，剽掠殺傷，莫知其數，當地百姓莫不“願食其肉而不可得”，所以，楊幺組織受殘害的百姓，以其水軍的優勢，全殲統製崔增和吳全的一萬水軍，繳獲艦船不計其數；又在陸上乘勝追擊，打敗王燮的“神武前軍”主力，高宗趙構實在無法容忍，將程昌寓調離鼎州，王燮的“神武前軍”改隸為韓世忠轄製。
紹興四年九月，朝廷得知嶽飛救援淮南西路成功後，迫不及待地要嶽飛人馬回駐鄂州，稍作休整後，準備開赴潭州剿滅楊幺。紹興五年二月，嶽飛從池州前往高宗趙構的“行在”平江府，嶽飛第三次覲見趙構，他與趙構一起回歸臨安。
一路之上，趙構與嶽飛同食同駐，對嶽飛剿滅湖匪寄予厚望，但嶽飛依然念念不忘北伐攻金，收複河東失地。他對趙構曰：亂民起，乃金之害，金兵所到之處燒、殺、*、擄，百姓無以為繼，故金為瘡湖匪為疥，若朝廷舉旗伐金，國人將同仇敵愾，湖匪不戰而散。趙構謂曰：梁山太湖為前車鑒，無金之憂矣！嶽飛無言。