此時海麵上的戰事已經基本結束，殘存的海盜都已經退入了河道汊港，裏麵葦草叢生，而且曲折多變，官軍不熟地形，不敢貿然追擊，而且斷後的海盜也已經沉船堵塞河道，防止官軍追來。
在退往六橫山的路上，林風悄悄問小豬剛才為什麼不讓說在福船上看見官軍的事，小豬解釋說，以前他們去寧波府撒丫子亂逛的時候的確在巡撫衙門前看見過與陳四身後兩個人很像的官軍，但在福船上時燭光昏暗，難免看錯，而且此時戰事緊張，根本不是追究那個的時候，如果其中真的有什麼貓膩，隻要平時留心注意，狐狸尾巴總有露出來的那一天。
等五人來到六橫山下之時，官軍還未對山寨展開總攻。六橫山因為六座山體橫亙島中而得名，山路崎嶇，山體陡峻，而且六座山同體連枝，根本難以形成合圍之勢。陳四帶著四人從山後一條暗道上山，因為有陳四帶路，所以沿路崗哨並未遇到太大阻礙。
再來說這座山寨，它是當年許棟下令建造的，而在這雙嶼港上也就隻有許家有此財力，而且李光頭認為漂泊海上根本沒有必要建立如此堅固的陸上營寨，所以也沒有仿效許棟建立固定根據地。但許棟誓將雙嶼港建成他一家獨大的海上走私貿易集散地，所以陸上營寨是在所難免的，因而便傾其一家之財建立了這座進可攻退可守的山寨。
六橫島山寨自半山腰開鑿，依次向上築起三道圍牆，每道圍牆均設東西南北四道大門，圍牆上皆有射擊孔窗，並配備弓箭、火槍乃至於火炮，更甚至在一二道圍牆之間開挖一條護寨溝，挑水上溝，形成護寨河，一是防備攻山二是防止敵人防火燒山。山寨內建有前庭後院，後院為眾海盜頭目家屬居住之所，前庭為不出海時的議事之處。寨內還建有巨大的倉庫，用於走私貨物儲存，囤積奇貨、糧食，並特別建立軍火庫，專門放置走私的軍火。
此時除去南港船隊，其他的島上許李二家海盜都已經聚集到六橫山。南港船隊是島上海盜的重要退路，此時正和朱紈派去的船隊於港口對峙。
五人來到聚義廳外，早有手下進去稟報，李光頭、汪直、林剪、徐惟學等人迎了出來，這時林風四人突然想起海盜中還有一個被打成重傷的鄭獠，不禁心中一陣心急：“怎麼單單就把這個給忘掉了？恐怕會因此出麻煩！”隻是在人群中並沒有鄭獠的身影，不知為何。
還未等李光頭等走到近前，陳四眼淚便流了出來，隻見他拖著步子上前，滿麵含悲地說：“眾位！許老大，許老大，他，他仙逝了！”
“什麼！”
眾人一驚，頓如晴天霹靂。
“什麼？你說什麼？！”
李光頭與汪直等人紛紛上前詢問。
汪直等許棟嫡係著急自不必說，而李光頭現在也明白，海盜們已經被官府*到了退無可退，許棟一死，人心渙散，自己必然獨木難支，抗拒官軍更是難上加難，所以也是極為關切。
陳四一下子跪倒在地，痛哭流涕：“許老大，他，他死了！”
再次得到陳四的確認，人群中頓時響起了低低的嗚咽之聲。
“陳四兄弟，快點起來，到屋裏細說！”李光頭和汪直連忙把陳四扶起來。
此時眾人也無暇顧及為何林風四人會跟在身後，紛紛和陳四一起進入聚義廳內。
此時聚義廳內燈火輝煌，顯然剛剛是在議事。
眾人坐定，陳四便將自己如何逃到岸上，如何遇見許棟，如何看見許棟被殺細述一遍，又說了林風四人如何救自己，四人如何歸順一事。
不過令林風四人疑惑的是，陳四向眾人訴說時隻是將許棟說成重傷，是在他殺掉官兵之後許棟才死的，不知意欲何為。