不出香山榮左衛門所料，美國人船上的煤炭和糧食已經捉襟見肘，無法繼續逗留在浦賀近海。
一方麵他們此時必須擔負起保護滯留在大清國的本國僑民的使命，另一方麵他們的恫嚇行為已經遠遠超過了日本人的預料。此外，佩裏之所以沒有強迫日本政府立即答複，還有一個重要的原因。那是因為，裝載著美國總統送給日本國皇帝的禮品的貝爾蒙特號此時尚未趕到日本。當然，這是後來通過佩裏的《日本遠征記》才得知的內幕。
佩裏在他撤離日本的最後時刻到來之前，始終沒有忘記盡其能事對日本進行威脅和恫嚇。
無疑，他的粗暴行徑必定將對兩國日後的外交關係留下負麵影響。
嘉永6年（1853年）6月12日。
清晨的浦賀海岸和山手海岸邊人山人海，人們想要親眼見證美國人撤退的那一刻。
在眾人注視的目光中，美國人遲遲沒有起錨返航的意思。坐立不安的奉行們再次派香山榮左衛門前去催促。這時，他們才懶洋洋地動身了。
時間是上午9時20分。
薩斯喀那號和密西西比號分別拖著薩拉托加號和普利茅斯號從浦賀靜靜地向南駛去。在數萬雙憤怒的目光中，這幫無禮之至的暴徒漸漸消失在大海的深處。
美國人撤離以後，一場前所未有的風暴席卷了日本全國。這場思想風暴的性質完全有別於之前的“勤皇”派和“佐幕”派之間的爭論。
黑船到來之前，日本國內並不缺少對鎖國政策的質疑和對國家製度的反思。而現在，各種和風細雨般的議論變成了一場疾風驟雨般的“攘夷風暴”
換而言之，所有日本人均暫時拋棄了自己的立場和個人情感，將憤怒的矛頭一齊指向了佩裏。
從這種意義上說，佩裏堪稱日本的恩人。相反，這一曆史事件使得部分日本人直到一百年後的二戰爆發時，仍然對美國懷有根深蒂固的不信任感，所以佩裏自以為效忠祖國的行為反倒為美國的將來留下了後患。
總之，當佩裏撤軍時，日本全國的諸侯大名不再繼續為“佐幕”還是“勤王”而喋喋不休地爭論，所有人都變成了“攘夷”的支持派。
江戶幕府多次召集全體官員上朝，以老中筆頭伊勢守阿部正弘的名義要求全日本的各方代表呈報奏書。雪片般飛來的奏書中有許多耐人尋味的內容。
此時此刻，爭論的焦點當然是同意美國的要求打開國門，還是墨守幕府的舊法繼續閉關鎖國。不過，無論是開國論者還是鎖國論者，都對以佩裏為代表的歐美列強的侵略主義顯示出強烈的不滿和憤慨。不過，同時他們也都同樣清楚地知道日本防務的空虛。
現在，就讓我們試著從當時意見最為激進的開國派先驅者島津齊彬（薩摩藩主）的意見開始慢慢看起吧。
……關於美國人之要求，荷蘭國政府此前曾通報過我國，且滯留琉球的洋人之間也多有傳聞，可見外患由來已久。其明知我國明令禁止外國船隻前往江戶，仍強行到訪。我國政府雖多次闡明法令，無奈對方未加理睬。然而，出兵驅逐敵艦絕非上策，因我國海防薄弱，並無勝算。況且，即便一時擊退來犯之敵船，怎奈洋人之軍艦行動自如，且近來常有五六艘軍艦在中國海域及無人島附近航行，唯恐我國海運仍將遭其騷擾。因此，須妥善處置此次事件為要。
如若應允與其通好（通商）則非但有損我國國威，且可能招致荷蘭政府的無禮要求。一旦海外列國誤以為挾武力之威必能使我國屈服，則後患無窮矣。為此，萬萬不可輕易答應美國之要求。
不過，來年美國再次派軍艦來訪時，如當麵回絕其要求，則不免兵戎相見。因此，與其一味采用拖延戰術，不如陳述我方不得已之理由以勸其早早撤回。我國則可趁此時機加強海防，積極備戰。如此一來，則3年之後應無大礙。3年之內，諸國定能同心協力整頓海防。如海防充實，加之我國將士驍勇善戰，則戰必能勝。鞏固海防，浦賀應首當其衝，其他各處要害宜一一確定，不得疏漏。此前，日本將士見到洋人，心中便有幾分畏懼。如我方海防堅固，則洋人必定不敢輕舉妄動。一旦國力強盛海軍強大，即便海運受到侵擾，亦可迅速反擊，驅逐洋人。