方國珍這段時日非常鬱悶，昔日海上大頭領的名頭已經不在了，而且還被眾多海寇怨恨，甚至懷恨在心，很多海寇認為是方國珍讓他們去送死的。
方國珍此時召集兩個弟弟方國璋和方國瑛來商討一下出路，這段時日他們在海上也屢屢遭到懷遠軍的攻擊，出海的船時常回不來。
已經感受到深深的威脅，方國珍知道這是劉明遠一步步蠶食他的計劃，此時懷遠軍水師已經在海上訓練完畢，編練的海船也都是大船，戰鬥力非常凶悍，雖然他的手下都是常年在海上逃生記的海寇，但是遇上懷遠軍還是手足無措，根本不是對手。
劉明遠能夠在海上占據優勢，其中一點是海船和武器有優勢，但是也有一點就是大量招募要害的漁民百姓充任水兵，這些漁民在航海經驗上絲毫不比方國珍手下的海寇弱。
於是懷遠軍在海上漸漸地取得了優勢，將以為海上安全的海寇們在海上打到的打敗，狼狽不堪。
方國珍和兩個弟弟一番商討之後，也沒有商量出什麼結果來，方國璋和方國瑛兩人都有些怯懦膽，平日裏也不攙和方家的事務，此時方國珍手下已經沒有可用之人了，最信任的一個頭領也在永嘉海灘被懷遠軍俘虜了，此時人頭都被做成景觀擺在海灘上麵，方國珍得知之後，心中一陣悲痛。
方國珍此時又想起了弟弟方國瑉，他得知劉明遠並沒有殺掉方國瑉，也不知道劉明遠是做的什麼打算。
而且此時的方國珍竟然不想和劉明遠談和，這也是一改之前和元庭周旋的手段，但是此時方國珍心中充滿了對劉明遠的怨恨，家破人亡，手下傷亡殆盡，這些都是劉明遠造成的，方國珍心中已經下定決心和劉明遠血戰到底。
但是方國珍此時已經沒有了之前的勇氣，接連的打擊讓他也開始絕望了，尤其是這段時日懷遠軍水師活動頻繁，一夥夥海寇接連被剿滅，其中都是一些大島的海寇，甚至有五千人的一支海寇也在數日之前被圍剿了。
這段時日不少求救信送到方國珍的洞頭島，都是遇到懷遠軍圍攻的海寇派人送來的，但是方國珍一支按兵不動，沒有救援，眼睜睜地看著這些海寇被懷遠軍圍剿清理掉。
於是東南沿海各路海寇人人自危，同時也開始對方國珍一番流言碎語，都方國珍已經不是當年的大頭領了，現在把兄弟們當槍使，害的兄弟們死傷慘重，然後兄弟們有難，又不出兵救援。
聽到這些流言蜚語的方國珍心中也是一陣暴怒，他此時那裏還有膽量出去營救這些海寇，能夠自保就已經不錯了。
被懷遠軍逼到這般境界，洞頭島上的海寇也開始出現了矛盾，之前大家都是有財共享，女人也共享，一起發大財。
但是眼下懷遠軍的水師都快要打到家門口了，這些海寇就是出海都成問題了，更不要出去掠奪了，於是在洞頭島上也開始出現分裂和內訌了。
時不時就有海寇因為爭奪糧食和女人發生衝突，少的數十人，多的上百人，上千人，一時間攪得洞頭島不得安生，但是方國珍也無能為力了，他手下的這些海寇都是一些大頭領率領的，當年投奔他，雖然名義上歸屬方國珍，但是都是各自為政，隨時都可以離開。
這段時日東頭島上更是流言飛起，都是關於懷遠軍要進攻洞頭島的消息，一時間海寇們人人自危，很多人在流言中開始悄悄離開，劃著船逃往別的地方，他們很多人都逃到了南洋，因為那裏沒有懷遠軍。
方國珍對於這些流言起初沒有在意，但是看到流言越來越厲害，逃命的海寇也越來越多，數日下來已經逃跑了三千多人，方國珍這才開始重視起來，召集手下的大統領數百人，一一安撫提振士氣。
此時方國珍已經沒有了昔日的輝煌，能夠帶著這些海寇上岸，甚至坐鎮溫台，成為一方諸侯，此時他也隻能拿出家底，分給手下，讓他們繼續留在洞頭島上，繼續為自己賣命。
錢銀都發下去了，但是方國珍發現依然沒有平息謠言，反倒是謠言越來越厲害，甚至一些人的有鼻子有眼的，好像自己看到一番。
一次因為流言的原因，洞頭島上發生了緊急情況，以為懷遠軍攻上來了，於是方國珍領著手下就衝了過去，但是到了之後，發現根本就沒有這回事。
憤怒的方國珍此時才明白過來，一定是懷遠軍的探子上島了，但是他根本抓不到這些探子。
畢竟每上島出海的海寇太多了，兩萬人進進出出，而且統領這些海寇的都是一些大頭目，方國珍根本就查不出來那個是懷遠軍的探子。
四麵楚歌的方國珍在一陣焦慮和憤怒中漸漸地失去了信心，也陷入了深深的絕望之中，同時手下的海寇也徹底亂成一團了，方國珍徹底失去了對手下的控製，每都在山洞裏麵飲酒買醉。