就在江戶陷入混亂的4日清晨，浦賀再次派船前去與美國人交涉，力圖勸說黑船撤走。
這次，浦賀奉行起用香山榮左衛門接替了中島三郎助。前一天，香山榮左衛門曾跟隨中島前去交涉，但未能登上美國人的軍艦。
驕橫無禮的美國人堅持要求日本的高官前去交涉，這樣他們才能滿意。於是，香山榮左衛門帶著堀達之助和立石得十郎，打扮得衣冠楚楚，佯裝全然不知之前發生的事情，再次乘船靠近了薩斯喀那號。
前一天還是跟班的跑龍套，今天儼然一副達官貴人的模樣，堂而皇之地登上了洋人的船，不能不說這既是一種勝利，又是一種諷刺。
這一天，佩裏仍然沒有露麵。先出來的仍然是孔蒂上尉，上尉見香山是個新麵孔，以為他就是浦賀奉行，便將他帶到船長室。船長布卡南和參謀長亞當斯正在船長室裏等候。
參謀長亞當斯開門見山地說道：
“昨天已經告訴過你們，我們受合眾國總統派遣帶來了國書，要求貴國盡早派一個與司令身份相當的長官出麵接受國書。”
香山淡淡地反駁說：
“按照我國國法，此地不得接待異國人士。如為公幹，請前往長崎為宜。”
這時，船長布卡南坐不住了。
“豈有此理！去年，我們已將我國將派船造訪貴國一事通報貴國。貴國政府應該早已知曉此事了。”
這可是他們花了一個通宵精心策劃的戰術。香山一聽，頓時懵住了。他不敢立即否認對方的話。
因為，在荷蘭通商館暗中通報之前，幕府閣僚一直對手下人隱瞞著此事。每當世間有所傳聞時，幕府閣僚便出麵辟謠，說美國人不會再來了。
當然，辟謠隻能起到欲蓋彌彰的效果。
也許，美國果真已通過荷蘭人向日本政府通報過呢？顯然，香山心中的疑慮挫敗了他的銳氣。
布卡南表情僵硬地繼續說：
“司令受命來此遞交國書。前往長崎,非但違背了我國總統的指示,而且司令本人也絕不會答應的。司令已經指示，如果貴國政府拒絕派合適人選在此地接受國書,那麼一旦發生嚴重後果，一切責任由你們自負！”
“什麼嚴重後果？”
“我們將即刻率領軍隊在江戶登陸，當麵向皇帝（將軍）遞交國書。”
美國人似乎已經做好開戰的準備，士兵正在甲板忙碌地檢查大炮和槍支，而且還不斷地驅趕靠近軍艦的日本船隻，甚至放下巡邏艇在海上進行測量。
這時，香山隻得放緩了語氣。
他的心中因為憤怒和憂慮而流淚，但是臉上卻依然保持著微笑。
“如此說來，萬萬不可出現爭端。各位受國家之重托，不畏旅途勞頓，遠涉重洋來到我國。我國政府斷不能不顧全各位的麵子，讓你們無功而返，否則有違我國政府之仁德。煩請你們在此靜候幾日，等待江戶的答複。”
這時，香山見對方情緒有所緩和，便直言正色地指責他們在江戶灣內進行測量的舉動。
“你們在此處測量，有違我國國法，極為不妥。消息傳到江戶，定會招致幕府的不滿。請盡快停止。”
這時，布卡南大言不慚地回答道：
“也許我們的行動的確有違貴國國法。不過，我們是美國國民，而不是日本國民。美國的法律要求我們進行測量，我們也不得不執行呀！”
一時間，香山榮左衛門啞口無言。這些蠻不講理的洋人，連七歲孩童尚且不如，還有什麼道理可講？
“這到底是從哪兒來的一幫怪物啊？”