原來，四海幫的四位當家都是之前洞庭湖義軍中的將領，大當家就是洞庭湖義軍的第一任總首領鍾相之子鍾子儀（在鍾相死之後，總首領才由楊幺擔任），二當家是楊幺的軍師黃誠，三當家是另一名洞庭義軍首領周倫，四當家就是楊月。四人率眾流落到東海之後，自然就幹起了老本行——水盜（現在應該是叫海盜了），並建立了四海幫，以一處荒島（現改叫四海島）為據點。
這個時代的海商大多都是亦商亦盜。由於南宋的水師在圍剿楊幺時損失慘重，而殘餘的水軍又多集中於江淮一帶，以防金軍進攻，所以沿海的水師全是一些老弱殘兵，根本無力同海盜作戰。
在這種情況下，各大海商都隻好自行組織武裝船隻，對商船進行護送。而南宋朝廷也睜一隻眼閉一隻眼。
在這些朝廷的士大夫看來，水上的武裝船隻再厲害也威脅不到社稷安危。既讓朝廷省了護衛之責，又能從這些海商身上收取到大量海上貿易稅收，何必去當這個惡人？
這些亦商亦盜的海上組織中，有的以商為主，比如說李雨柔所在的李家就是其中貿易做得最大的海商世家，此外還有泉州的蔡家、廣州的黃家等海商家族。
當然也有以搶劫為主的，象巨鯨幫、海沙派就是以海盜搶劫為主的。這些組織之間，多有矛盾和爭奪。而其中最不得人心，或者說是眾矢之的的一股海盜，就是楊月所在的四海幫。
四海幫成為各路海商海盜的眼中釘，卻也是迫不得已。因為他們原本就是楊幺的義軍出身，和大宋朝廷乃是死敵，別的海盜不搶劫時也可以運運貨，客串一下商人，反正各處港口也不會不接納他們。但四海幫可就不行了，南宋的那些商人誰敢和反賊打交道啊？而且朝廷控製下的各處港口也沒哪個會同意讓四海幫的船隻靠岸。
這樣一來，四海幫就成了一股隻能以劫掠為生的純粹海盜，而且由於不能在宋朝的港口靠岸。他們劫掠的貨物大多都是拖到日本、高麗和金國所在的港口賣掉的。這在主體是宋人的海商海盜眼中，就更是一個另類了，和四海幫自然就發生了多次衝突。
而其中經商規模最大的李家，自然成了四海幫劫掠的重點，雙方在海上亦交戰多次。隻是以經商為主的李家，打起海戰來自然不是這些連南宋水師都能擊敗的前洞庭義軍對手了。
幾場戰鬥下來，李家損失慘重，護航船隻半數以上被擊沉。李家的家主李元山便不得不向各路海盜發出了懸賞令，稱擊毀四海幫的船隻賞銀一千兩，殺死四海幫的普通幫眾，一人給二十兩，中小頭目一人給五十兩，如果是四位當家，則每人賞銀三千兩。
在嶽雲看來，這就是典型的“我打不過你，但我可以用錢砸死你”的方法。
李家的海上懸賞令一發布，四海幫一下子成了過街老鼠，各路海盜隻要見著他們，都要找機會動手。幾個月下來，四海幫雖然悍勇，幫眾戰鬥力極強，卻也經不起如此消耗。隨著幫中戰死受傷人員暴增，處境日益艱難。
而就在這時，金國卻向他們伸來了橄欖枝。駐守青州的金將紇石烈誌寧在數月前強渡淮河失敗後，便在兀術的支持下，決定建立金國自己的水師。並開始招聘工匠進行造船。
隻是，金國征召的這些民間工匠都隻能造些民船，造不來戰船，而且所造船隻大多船體較小，根本不是宋軍水師的對手。