5月23日，林則徐要求16名鴉片販子具結，聲明離開廣州後永不再來。經義律勸導，他們簽了字，因為不簽字，他們就沒法離開。鴉片販子中有個叫因義士的，比較滑稽。由於私帶鴉片，被逐離粵，可他旋即又在澳門與人合作，搞鴉片入口，義律於5月8日命令其離澳，因義士提出了如下抗議：
一、義律作為商務監督，無權幹涉公海的鴉片貿易。
二、沒有人和他對證證實，就宣判他有罪，義律監督破壞了英國憲法上的一個重要原則。
三、他找不著一個法庭可以將他被違法驅逐的情由申請救濟。
這些可惡的英國販子，來到天朝的地盤上還這麼講法治講人權，一點也不入鄉隨俗，怪不得天朝不喜歡他們。
5月24日，義律帶著商館內的所有英商，離開廣州前往澳門。離開之前，他請求美商，為了將來大家的共同利益，最好與英商一起離開。其實他是怕美國商人取代英商拿到一年一次的茶葉合同。但美商也不傻，美商代表福布斯回答義律說：“我來中國不是為了療養和尋歡作樂，隻要能賣出一碼布或者購進一磅茶葉我就要堅守崗位……我們美國公民沒有女王來擔保補償我們的損失。”（費正清：《劍橋中國晚清史》中譯本上，中國社會科學出版社1983年版，第204頁）
美商說得對，英商一離開廣州，他們就發財了。幾家歡樂幾家愁啊。
英商離開廣州，中國有史書雲：“繳煙的鬥爭，以英國鴉片販子的徹底失敗而告終。”（楊國楨：《林則徐傳》增訂本，人民出版社1995年版，第239頁）問題是，繳煙鬥爭至此僅是事情的開始，並不是結束。因為林則徐要求英商具結的目的沒有達到，所以堅持隻有具結，才能恢複中英貿易；而義律拒絕具結，宣布一切商船不得進入虎門。義律於6月5日通知欽差大臣，英船在澳門交易。欽差於6月9日回複，禁止在澳門交易，所有英船隻有兩條路可走，要麼進港，要麼離境，沒有中間道路可走。6月12日，英商自行集會，表示他們不讚同某些英商違背義律命令自行前往廣州貿易。
義律聞訊後，於6月14日作出回答，指出：“隻顧自己的意見和個別的利益而把公眾的主張和一般的考慮置諸腦後”是很危險的，“並且是極其可恥和惡作劇的，因為這將建立一個原則，即英國臣民不顧一切往事而對於中國政府的公正和和平，仍具有信心，並且代表他們自己和他們的國人同意中國官吏和各種司法機關的傳訊和判處死刑，以及更不待言的那些較輕的罪行”。（馬士：《中華帝國對外關係史》中譯本第一卷，上海書店出版社2000年版，第264頁）就在同天，林公這方麵發布一個布告，聲明，鴉片既繳，當局已恩準英商重新開艙貿易，人家美國的兩隻船都進口貿易了，為何英商不進口開艙呢？6月21日，義律答複了拒絕恢複貿易的理由和自己的不滿：
一、天朝將無辜者和犯罪者一齊在商館裏拘禁七個星期之久。
二、鴉片貿易受到天朝帝國官員的鼓勵和保護，而且在對華貿易中，沒有一項貿易向官員們交納各種費用能像鴉片貿易這樣具有規律性。
三、為數區區的無法自衛的英國商人置身於粵省政府的掌握之中，實在談不上安全。
四、在正義得伸而將中英貿易和一切交往置於一種兩皆榮譽而安全的基礎上以前，就把已往的一切侮辱和冤屈忘記了，會有損英王和英國國家威望的。（馬士：《中華帝國對外關係史》中譯本第一卷，上海書店出版社2000年版，第265頁）
6月23日，林則徐和鄧廷楨頒布管理外商外船新章程，向外商發出甘結式樣，繼續執行自己的具結貿易政策。此後，林欽差又向中外商民和澳門葡萄牙當局發出告示，指出澳門“雖濱海一隅，亦天朝疆土，豈能任作奸犯科之人永為駐足乎？”宣布，敢在澳門搞鴉片貿易者，天朝將一律嚴懲不貸。而跟隨義律抗拒具結的英國商船，和新來的英國商船，此時都積聚在九龍尖沙嘴的洋麵上。林則徐怕他們銷售鴉片，就派水師前去監督。義律認為林欽差此舉妨礙英船接濟食物，寫信給佛山同知劉開域和澳門同知蔣立昂，要求他們立即撤退師船，否則釀出不幸，自己概不負責。林欽差得知後，警告義律，英船必需在五天內回國，“若再執迷不悟，則不能不示以嚴懲，不獨各處師船，一調即至，即沿海民人，莫不視波濤如平地，倘一觸動公憤，則人人踴躍思奮，雖欲阻之而不能矣”。（楊國楨：《林則徐傳》增訂本，人民出版社1995年版，第271頁）
可以說，林則徐與義律這對對手，一直在互相嚇唬來著，義律一直拿英國發動戰爭來嚇唬林則徐，林則徐更是拿不怕戰爭和所謂的“人民公憤”來嚇唬義律，雞同鴨講，雙方誰也不怕誰。隻不過，義律知彼知己，知道英國在戰爭中的勝算；林欽差則既不知己，也不知彼，不知道天朝麵對的是全新的敵人。所以林欽差的嚇唬於義律沒有任何反響，五天過去了，英船沒有離開；兩個五天過去了，英船還沒有離開……雖然義律很經嚇，但在兩人的初期較量中，林欽差至少在表麵上是占了上風的。更何況，林則徐的虎門銷煙，給清政府製造了最後的神氣呢？