然而，就在江戶的旨意傳到浦賀之前，美國人又開始了新一輪的恫嚇行動。
6月6日早晨，佩裏派4艘小艇，潛入江戶灣進行測量。測量船在蒸汽軍艦密西西比號的護衛下，從橫濱海域向著品川疾駛而來，如入無人之境。
伊豆守戶田頓時慌了神，急忙派與力中島三郎助前去抗議。不料，對方反倒威脅說：
“你們的警備船不得靠近小艇。”
否則，萬一發生意外，我方概不負責。
美國人輕而易舉地將前來抗議的中島打發走了。
此時，一場衝突已經在海上發生了。事情的經過是，禦固四家之一的川越藩發覺美國人接近品川，便派偵察船前去探個究竟。偵察船正準備從前方攔截小艇，美國士兵就揮舞著插著刺刀的步槍，一邊朝著離偵察船僅五六米的海麵“乒乒乓乓”地射擊，一邊向前挺進。
這時，川越藩的士兵們群情激憤，急忙派人乘快艇前往奉行衙門商討對策。……黑船偷偷潛入近海，故意羞辱我們。我們實在吞不下這口氣，不如一舉將他們殲滅。
然而，當天早晨剛剛收到“外國人接待要點”的伊豆守戶田當然不會和士兵們站在一邊的。
“……將士們的心情可以理解，但是幕府命令我們穩妥行事。擊沉對方船隻，隻會自找麻煩。我們貿然行動，洋人恐怕就會大兵壓境，將難以向江戶交代，所以萬萬不得輕舉妄動。如有萬一，須聽從本官指令行事。”
奉行的反應雖令川越藩的士兵們難以抑製滿腔的憤慨，但他們也隻得掉轉船頭，回到營房喝起了悶酒。
“遭受如此奇恥大辱，還說什麼如有萬一，聽從指令行事，把我們留在海上還有什麼用。不如回營地飲酒作樂，痛快一場。”
奉行擔心其他三個藩發生同樣的事情，於是再次向彥根、會津、忍三藩下達指示——“忍為貴”從此，日本近海再也見不到日本船隻的影子了。
就是這樣，浦賀至品川一線近海的製海權被拱手讓給了美國人。
再說香山榮左衛門，當日清晨從江戶趕回浦賀，向奉行報告完畢後，正在自己家中蒙頭大睡。
下午2時時分，小吏喚醒正在熟睡的香山：
“奉行大人請您立即前往。”
在奉行心目中，香山是最擅長與美國人周旋的。美國人也已經誤將香山當成了奉行大人。
奉行派香山速去要求美國人立即停止測量。
這可難壞了香山榮左衛門。
香山問道：如此說來，奉行衙門是否已經撤回了海上所有的船隻？