“派了2艘尾隨洋人的小艇，倒不是為了監視他們，而是為了防止禦固四家的士兵心中不服，偷偷發動襲擊，反倒壞了大事。所以，派船前去看著自己人。”
這真是本末倒置、顛倒黑白的荒唐話。奉行衙門派出的船隻，它的任務居然是監視我方情緒激動的士兵，為洋人的非法行為護航。這樣的世界哪裏還有什麼公理和正義可言。
“好，我這就前去交涉。”
香山聽說，中島三郎助已經去過一次，隻是對方根本未予理睬。接著，近藤良次帶著翻譯準備再次交涉，對方連船都沒讓他上……
香山榮左衛門再也抑製不住心中的怒火。
明明還沒到事先約好的期限，為何還要隨心所欲、得寸進尺？
日本知識分子無法理解對方的粗暴和無禮。力大為王……不，弱肉強食，恬不知恥……對於這種沒有王法，不講禮數的行為，他們感到愕然，感到憤怒。
可悲的是，他們全然不知天下有如此蠻不講理之人，並因此而一直懈怠防務。
香山強打精神，在船頭插上白旗，行駛到薩斯喀那號跟前。
“未到約定的期限，你們的軍艦和小艇怎能隨意駛入內海動武。”
香山責問出麵交涉的亞當斯參謀長。亞當斯冷冷地答道：
“因為我們預感這次可能會無功而返。如果能得到一個滿意的答複，也就罷了；萬一達不到目的，我們明年春天將會率領軍艦卷土重來。到那時，浦賀可不適合作為停靠之地，況且停在浦賀，我們也不放心。所以，我們要物色一個離江戶最近的地點，以便進行交涉。所以，隻好請貴方理解。”
對於這樣的答複，香山榮左衛門已經見怪不怪了。對方不過是麵對無力抵抗的少女而狠下毒手的暴徒罷了。
“您的解釋恕我不能接受。目前，我方正在商討是否接受貴方的要求，在此地接受國書。隻是，約定的期限尚未到來，你們就無視日本國法進行測量，這不得不讓人懷疑你們是否有遞交國書的誠意。這種非法行為隻會妨礙我國政府的決心。所以，勸你們還是及早駛離此地。”
聽了香山的抗議，亞當斯來回請示了佩裏好幾次。到了午後5時，美國船答應離開停泊地點，在旗艦上掛上了旗幟，要求小艇“返回”
後來，佩裏在其著作《日本遠征記》中披露了他們當時的想法。他們堅信自己的企圖不會落空，同時他們認為，隻有進一步施壓，才能使今後的交涉向著有利於自己的方向發展。