廣海衛，在新會縣南一百五十裏海濱。洪武二十七年（1394年）建。廣海衛是公署，時屬新會縣地。廣海澳東南洋麵，為遠洋船來往所經，有明以來，廣海就是廣州右岸重要的港口之一。
從廣州出海遠洋的商船，到了新會，都要稍作停留告別；回來時經新會，則“相互慶賀，寨兵有酒肉之饋，並防護赴廣州。”自古以來，此地一直是海防重要之地，宋朝，“上下川罟蜑頭，屬新會縣”，因海寇出沒而設寨，“於潮州水軍就撥六十人”（《宋會要輯稿》）；元朝，設“溽洲寨”巡檢司，編製120人（元《南海誌》）；至明朝，更擴展為“廣海衛”。
李定國是個明白人，他深知新會廣海衛對於廣東省的重要性，一定不能讓這個地方落入敵手。方以智既然提出了要親赴那裏發展建設，並安撫鄭彩留下來的人馬防止他們兵變，李定國沒有拒絕他的理由，並在翌日撥給方以智兩千兵馬叫他以朝廷欽差的名義趕赴廣海衛。
鄭彩率領他的船隊敗退到廣海衛時，這裏由於常年戰亂已經無人把守，城防空虛，陳設均破敗老舊。鄭彩到達這裏後，看到如此景象不免產生了想要在這裏大幹一番事業的願望，他一麵差人去廣州通報永曆帝自己來投的信息，一麵帶領人馬重新整頓治理廣海衛的城防事物。
鄭彩一麵大力招募周邊的流民返回新會縣定居補充人丁勞力，並向百姓們發放糧食衣物等生活用品。一麵大力擴充軍隊，建立水師衙門等行政機構，並發展造船廠建造戰船，以及與澳門的葡萄牙人通商向其購買先進的火器和造船技術。
不到一年時間，鄭彩就在廣海衛建立了一支擁有7000水兵，60多艘戰船的強大水師。鑒於鄭彩為朝廷做出的貢獻，永曆帝封其為建威侯，官拜水師提督。
誌得意滿的鄭彩，本想用自己的這支水師重新打回福建，報當年的一箭之仇，沒想到中途殺出來一個孫可望。他不但要求永曆朝廷遷都貴州，而且鄭彩的水師也必須隨他一同遷往廉州府駐紮。
鄭彩聽聞此事後當然無法接受，於是在朝堂上就公然與孫可望拔劍相向，他的親兵為了保護他也衝進了永曆帝的都司府試圖抵抗孫可望的軍隊，但他們畢竟勢單力薄導致最終全數被殺。
鄭彩去廣州都司府麵聖前將軍權交給了他的弟弟鄭聯，鄭聯跟隨兄長鄭彩投靠永曆帝後便被封為定遠伯，隨後又因其兄治理廣海衛有功隨兄長一起被封為定遠侯。
但論起執政能力還不如他的哥哥鄭彩，而且鄭聯為人暴虐，又非常貪財。得到了廣海衛的執政大全後，他整日飲酒作樂，還強抓了新會縣裏很多貌美的民女去他府上供其享樂，搞得是民怨四起。
參將丁虎看在眼裏是急在心裏，但沒有了兄長束縛的鄭聯根本聽不進去丁虎的勸告，後來每次丁虎前去求見，幹脆直接被鄭聯的衛兵擋在侯爺府外不得入內。
下麵的將官們由於多日見不到主帥，也開始變得懶散起來疏於訓練，經常大白天的三五成群地跑到市集上的酒館，賭場等地吃喝玩樂，有時甚至還欺壓百姓強搶百姓財物，猶如土匪。
“請問老哥，還有多久可以達到廣海衛?”方以智對帶路的向導問道。
“快了方大人，沿著這條羊腸小路往前再走十幾裏路就到了。”向導答道。
正說到這，隻見前麵有一群人帶著大包小裹疲憊不堪地朝方以智這裏走來。
那群人看到身穿官服的方以智，後麵還跟著一群官兵後，嚇得趕緊四散奔逃。
方以智見狀十分不解，立即著人把他們攔住並帶過來問話。
“請問你們見到本官為何要逃跑?”方以智問道。
這些人連忙趴在地上連呼“饒命!”
方以智更加不解，他走下馬車攙扶起一位老人問道：“老人家，不要怕，我乃朝廷欽差大臣，我叫方以智，你們為何見到我等要逃跑，我們是朝廷的官兵，是保護百姓的，你們受了什麼委屈，有何難處盡管跟本官講，我會為你們出頭的。”