佩裏的暴行不但使當時的江戶城陷入了極大的混亂，也為兩國日後漫長的邦交史留下了互不信任的伏筆。而佩裏本身卻從未有過絲毫的反省之意。
他公然違反與香山榮左衛門的協定，派出測量船在內海左突右竄。在他的《日本遠征記》裏，強壓怒火旁觀的日本警備船、岸上老百姓贈送的物品都被曲解成日本國民對他們的歡迎。
書中甚至寫道，士兵們為了答謝送來淡水和水果的老百姓，特地對天鳴槍給居民們看，居民們興高采烈地朝著鳴槍的方向聚攏而來。其實，佩裏顛倒黑白的記述無非是想辯解,雖然日本政府不歡迎他們的到來，但日本的國民並非如此。
顯然，村民們抱著好奇心前來圍觀，害怕惹惱了洋人，隻能敢怒不敢言，強裝出一副笑臉罷了。世界上有哪個國家的國民會歡迎胡亂開槍的軍隊呢？
此後，香山接二連三地接到了關於美國人過火行為的報告。10日一整夜，他都未能返回浦賀。暴徒在品川海域發射炮彈，江戶陷入大亂。如果找不到暴徒的去向和行蹤，他拿什麼回去交差呢？這天夜裏，他命人將船停靠在金澤海域的夏島附近，一夜都沒有合眼。天亮以後，雜役和水手累得筋疲力盡，個個倒頭呼呼大睡，而香山榮左衛門卻絲毫沒有半點睡意。
“佩裏這家夥到底想幹什麼？”
這個家夥哪裏算得上什麼文明人，簡直是個十惡不赦的惡魔，他的所作所為已經證明他就是一個不明是非、不講禮儀、不講人道的瘋子。
“我的任務其實就是和瘋子打交道。”
也許，明天就不得不切腹自殺作個了斷。
總之，從美國人抵達這裏的那一天開始，香山絞盡腦汁才穩住了禦固四家的將士和沿岸布防的諸侯，避免將士們因一時衝動和激憤而惹出什麼麻煩。
在日本人麵前，他總是宣傳“美國人應該是講信用的”卻不料，日本剛剛破例接受了國書，他一廂情願的宣傳便被美國人無情地擊碎了。
江戶市民受到大炮的威脅，是他這個外交官的失職。到底怎麼做才能讓這些瘋子們早早離去呢？
次日清晨，剛剛打了個盹的香山榮左衛門睜開眼，映入眼簾的是蔚藍的大海和玫瑰色的天空，一種如釋重負的感覺湧上心頭，大腦也變得更加清醒。
香山終於看清了對方的真麵目。多日來，他以為對方是有良知、懂禮節的一國之使節，所以才費盡心思應付周旋。現在，當他意識到自己麵對的不過是一群不可教化的魔鬼時，心境自然完全不一樣了。
從現在開始，交涉已不再是國家之間在互相尊重、誠信守義的前提下進行了，而變成了佩裏與香山榮左衛門個人之間一對一的決鬥。
“算了，根本不用去請示江戶幕府和奉行啦!”
雖然自己並不情願看到這樣的結果，但是一旦下定了切腹的決心，自己和佩裏就完全變成了個人關係了，以兵刃相見也未嚐不可。