6月7日上午10時，留在江戶待命的福西源兵衛帶著幕府的決策回到了浦賀。香山榮左衛門隻得再次登上薩斯喀那號旗艦。
香山這次的任務是正式轉達日本政府的答複。於是，香山領著四五十人和兩名翻譯堀達之助、蜂須賀德四郎乘船靠近旗艦。
不出所料，美國人照例隻準許香山和兩名翻譯上船。
佩裏依然沒有露麵，一副高高在上、不可侵犯的架勢。參加會談的是艦長布卡南、參謀長亞當斯、副官司孔蒂和荷蘭語翻譯波特曼。
香山帶著幾分譏諷的口氣說，鑒於尊貴的美國總統的國書不容怠慢，我國政府決定破例在此地接受國書。
“接受國書的地點是久裏浜，時間是後天6月9日，具體細節由雙方商定。”
香山剛一說完，亞當斯立即追問道：
“佩裏司令是我國級別最高的官員，負責執掌美國政務。日方必須從江戶派遣一個身份相當的官員接受國書。否則，我們絕不會將國書交給身份不相稱的浦賀奉行。這件事，你們是如何安排的？”
言語之間，對浦賀奉行的不敬表露無遺。
香山榮左衛門立即答道：
“關於此事，日本政府已經有所考慮，屆時，一位與佩裏司令身份相當的高官將前來接受國書。對此，請各位盡管放心。”
其實，江戶早就預料到對方將提出這樣的要求，因此準備派井戶石見守和大學頭林韑作為日本政府的高級官員前去浦賀。
大學頭和奉行身份原本並無多大區別，幕府的目的就是用這種方法糊弄一下蠻不講理的美國。亞當斯參謀長點點頭，臉上露出滿意的神情。接著，他拿出事先準備好的國書的翻譯副本和一封信函，給香山又出了一個意想不到的難題：
“作為政府官員，我們都明白這是給貴國政府的書信，這是國書的副本。國書的原件必須等到9日那天當麵遞交給貴國政府派來的高官。你們看完國書的副本之後，必須在接受國書的那天準備一封回信。那樣，我們此行的使命就算徹底完成了。”
緊接著，亞當斯冷冷地說道：
“這樣一來，我們也不必勞師遠征再來打擾貴國了。”
香山榮左衛門聽得一頭霧水。
幕府懾於他們的威逼，不惜違反國法，硬著頭皮答應在浦賀接受國書。哪知道，這幫強盜並未打算就此罷休。
現在，他們又得寸進尺，逼著日本政府立刻給予答複。好不容易弄懂對方的意圖之後，香山榮左衛門全身的血液騰地湧上了頭。
如果現在收下副本，知道了國書的內容，勢必就要在接受國書時給對方一個交代。
本來，幕府害怕江戶遭到炮轟,才忍氣吞聲同意接受國書。然而，對方步步緊逼，現在又要求幕府立即予以答複。這對幕府來說又將是一個怎樣的打擊呢？
無論是有意還是無意，恃強淩弱都是不可饒恕的罪行！
“這件事恕難從命。”
香山榮左衛門決心賠上性命也要據理力爭。不，無論如何，都不能答應對方的要求。
“既然你們早有此意，為何之前不說清楚？事到如今，才提出這樣的要求，完全違反了雙方約定，我們絕不能接受。”
“雙方的約定，什麼約定？”
“你們從未說過，原件和副本要分開遞交。想要我們接受副本，就隻能和原件一起遞交。而且，這一次我們隻能暫且收下國書，以後才能答複貴方。”
“我實在想不通，明明去年就曾通報貴國政府我們今年來訪一事。你們做決定需要那麼久嗎？”
“我們可從來沒答應過這件事。在此地接受外國國書，是我國破天荒第一次。你們的要求，實在有違常理。”
“看來，你們是不打算同我國簽訂條約嘍？不簽訂條約也行，幹脆一戰決勝負，這樣更簡單。既然您不知道我們曾預先通報過貴方，那我們就去江戶，與貴國政府要人直接談判吧。”
這時的香山榮左衛門慢慢地冷靜了下來。
他決心不再向對方“暴行”妥協，在他麵前的就是一群野蠻且不可理喻的黃口小兒而已。
“你們效忠於貴國總統，情有可原。不過,日本政府是根本不會馬上答複貴方的。想要得到答複，隻有一個方法。那就是，我們之前達成的承諾一切作廢，雙方重新進行交涉。您試想一下，改變國家既有的方針，絕非一朝一夕便能決定。因此，這次隻能同時接受國書的原件和副件，擇日再給貴方答複……否則，交涉無法再繼續下去。”