美國人惱羞成怒，又拿出他們威逼恫嚇的伎倆。
但是，香山榮左衛門此時心意已決，絲毫不容動搖。如果接受如此無理的要求，他就隻剩下切腹自決一條路了。
見香山寸步不讓，美國人重新商議一番後，說：
“久裏浜太遠，得換個近一些的地方。”
香山榮左衛門不動聲色地笑了笑。見對方讓步，他的心中踏實了不少。
“看來，貴方是不願離開你們的軍艦。不過，敬請放心，日本國民一向重義守信，把信用二字看得比自己的生命還重要。況且，選擇久裏浜，也是出於對貴國的尊重。我國高官特意從江戶趕來接受國書。隨便選擇一個偏僻之地接受貴國重要的國書，實在不成體統。我方將在大海之濱、蒼野之上修建館舍，舉行隆重的儀式接受貴國國書，隻有久裏浜最為合適。目前，我方正在抓緊修建館舍，地點不容更改，務必請你們前往久裏浜會見。”
說完，他又像戲耍孩子似的說道：
“不過，如果你們還有什麼擔心，盡管直說無妨。”
短短一句話充分顯示了香山作為外交官的技巧。
對方見自己內心的恐懼被人識破，隻好答應：
“好吧，隻能如此了。”
香山榮左衛門想為今後的答複爭取主動，忍不住又說了一句，不料卻弄巧成拙。
“至於答複的地點，我也曾多次向貴方說明，我國政府規定隻能在長崎答複，而不是這裏。屆時，我國將通過與日本建交的荷蘭或中國轉達我們的答複。對此，請貴方理解。”
一聽此話，對方開始七嘴八舌地議論開來。
後來，翻譯轉述說，佩裏司令絕不會前往長崎,更不能接受通過荷蘭或中國轉交回信。佩裏提督帶來的國書，隻能交給日本皇帝或外交長官。
因此，日本必須像美國一樣，按照外交禮節派一個與佩裏司令身份相當的外交官親手遞交答複。
布卡南還補充道：
“司令要求貴國在兩三日之內回信。”
“至於遞交回信的地點，隻能在軍艦停靠的地點附近。如果發生有辱美國國格的事，司令絕對不能容忍，一切後果責任都在日方。”
香山榮左衛門不想在這個問題上繼續糾纏下去。
他非常清楚，對方可能還會繼續提出無理要求，因此，隻要知道對方的想法就足夠了。
他本能地感到，暫且接受國書，以後總有辦法說服對方。對方再怎麼蠻不講理，一旦開戰，他們也不可能毫發無傷。香山知道，他的對手也害怕戰爭。
香山先回到奉行衙門，下午又登上了薩斯喀那號，協商國書交接儀式當天的細節，會談的氣氛倒是十分融洽。
不僅如此，更加令人感到意外的是，香山榮左衛門的禮貌、沉著和涵養似乎贏得了美國人的尊重，他們開始變得友好起來。
事務性的協商結束之後，對方專門設宴款待香山榮左衛門和兩位翻譯，以示慰勞。
香山一邊品嚐著白蘭地和威士忌，一邊詢問美國的政治體製，還不時地發表自己的見解。
令美國人大為驚奇的是，香山在他們拿出的地球儀上一一指出了世界各國的重要城市，不但說出這些城市的名字，甚至還恰到好處地問起正在建設中的巴拿馬運河的進展。
會見結束後，美國人帶著三人參觀了軍艦。當然，佩裏沒有出現，交涉就不算圓滿結束，也不能保證他們會老老實實地撤走。
6月7日，美國軍艦即將潛入江戶灣的消息再次加劇了江戶城內的不安情緒，就連浦賀城裏的一些居民也開始紛紛逃往外地避難。
一入夜，禦固四家的營房裏便熄了燈。
江戶和浦賀在惶恐不安中送走了6月7日的夜晚，迎來了6月8日。