眾人聽後，皆自黯然神傷。接著，楊華又言：“大王假借‘等貴賤，均貧富’的口號，行‘驕奢淫逸’之實，拆毀民房，橫征暴斂，使我洞庭，水無清澈，村無炊煙，雖無金人鐵騎，卻落得十室九空，餓殍遍地的下場。我等嘯聚洞庭，所為何來？”
眾人見大將軍說出這等義憤填膺的話來，也是無奈地歎息道：“大將軍所言，我等感同身受，卻之奈何？”另一名水軍頭領金琮道：“屬下早有不滿！屬下小妹金雪長得嬌小可人，從小也是父母的心頭肉，卻不想被大王看中，非要留在山寨之中，如今，卻不知是死是活？我等都是跟隨大將軍多年的屬下，殺剮存留悉聽大將軍吩咐！”
劉衡、劉詵兄弟一看金琮已經表態了，也跟著附和道：“對，殺剮存留悉聽大將軍吩咐！”其他副頭領也跟著表態。楊華見眾兄弟跟自己一條心，心中暗自掂量，現在還不是說出投降嶽飛的時候，隻有打出解救太子（鍾子義）的名義，才能一點兒一點兒往路子上引。
想到這，楊華言道：“我等兄弟生是鍾相王的人，死是鍾相王的鬼，絕不背信棄義，與楊幺同流合汙；目前，楊幺手握兵權，太子添為人質，不可輕舉妄動，待時機成熟，解救太子，擁太子為王，不知大家意下如何？”眾人讚成。楊華等於把這八千人馬牢牢地掌握在自己的手裏。
簡短解說，嶽飛駐軍已有一月有餘，除了張榮操練的水軍稍有成就外，牛皋、湯懷、王貴等人依然領著官軍到農家幫農，不僅幫他們幹活，而且自帶幹糧，絕不叨擾農家一口，讓當地的百姓，一提起嶽家軍無不樹大拇指稱讚。
雖然嶽飛的舉動得到百姓稱讚，卻惹的右相張浚心中不悅，聖上讓你來剿滅湖匪的，你卻帶著人馬在這裏幫老百姓種莊家，這要是讓皇上知道，聖心大怒，這如何是好。尤其是潭州知州席益，多次在張浚麵前告狀，揚言要上湊彈劾嶽飛，對張浚道：“嶽侯得無有他意，故玩此寇。益欲預以奏聞，如何？”張浚連忙反對道：“嶽侯，忠孝人也，足下何獨不知？用兵有深機，胡可易測！”席益隻好作罷。
又過了一段時日，宋高宗下旨命張浚回臨安“行在”議決“防秋”大計，防止金人趁秋熟馬肥之際，與偽齊一道再度興兵。高宗趙構趕緊命人對“防秋”之事早決議斷。張浚來洞庭兩月餘，不見嶽飛有太大動靜，看楊幺等人據險而守，一時之間毫無勝算，不得不召見嶽飛。
張浚問：“浚將還矣，節使經營湖寇，已有定畫否？”嶽飛當即取出所藏的小地圖，對張浚說：“有定畫矣！”張浚看了地圖，不明白是怎麼回事，就問嶽飛：“浚視此寇，阻險窮絕，殆未有可投之隙。朝廷方召浚歸，議防秋。盍且罷兵，規畫上流，俟來歲徐議之。”
嶽飛回答道：“何待來年，都督第能為飛少留，不八日，可破賊。都督還朝，在旬日後耳。”張浚聽著覺得嶽飛是在吹牛騙他，責問道：“君何言之易耶?王四廂（王燮）兩年尚不能成功，乃欲以八日破賊。君何言之易耶！”嶽飛答：“王四廂以王師攻水寇，則難；飛以水寇攻水寇，則易。”
張浚問：“何謂‘以水寇攻水寇’?”嶽飛答：“湖寇之巢，艱險莫測，舟師水戰，我短彼長，入其巢而無鄉導，以所短而犯所長，此成功所以難也。若因敵人之將，用敵人之兵，奪其手足之助，離其腹心之援，使桀黠孤立，而後以王師乘之，覆亡猶反手耳。飛請除來往程，以八日之內，俘諸囚於都督之庭。”
張浚聽後大喜，立即給宋高宗上書，曰：“水寨闕食，徒眾頗離，據飛稱：‘旬日之間，可見次第。’臣欲更依聖訓起發，慮賊勢轉熾，將士懷疑。欲俟六月上旬，見得水賊未下，即詔飛來潭州訖，兼程赴行在。”