不出香山荣左卫门所料，美国人船上的煤炭和粮食已经捉襟见肘，无法继续逗留在浦贺近海。
一方面他们此时必须担负起保护滞留在大清国的本国侨民的使命，另一方面他们的恫吓行为已经远远超过了日本人的预料。此外，佩里之所以没有强迫日本政府立即答复，还有一个重要的原因。那是因为，装载着美国总统送给日本国皇帝的礼品的贝尔蒙特号此时尚未赶到日本。当然，这是后来通过佩里的《日本远征记》才得知的内幕。
佩里在他撤离日本的最后时刻到来之前，始终没有忘记尽其能事对日本进行威胁和恫吓。
无疑，他的粗暴行径必定将对两国日后的外交关系留下负面影响。
嘉永6年（1853年）6月12日。
清晨的浦贺海岸和山手海岸边人山人海，人们想要亲眼见证美国人撤退的那一刻。
在众人注视的目光中，美国人迟迟没有起锚返航的意思。坐立不安的奉行们再次派香山荣左卫门前去催促。这时，他们才懒洋洋地动身了。
时间是上午9时20分。
萨斯喀那号和密西西比号分别拖着萨拉托加号和普利茅斯号从浦贺静静地向南驶去。在数万双愤怒的目光中，这帮无礼之至的暴徒渐渐消失在大海的深处。
美国人撤离以后，一场前所未有的风暴席卷了日本全国。这场思想风暴的性质完全有别于之前的“勤皇”派和“佐幕”派之间的争论。
黑船到来之前，日本国内并不缺少对锁国政策的质疑和对国家制度的反思。而现在，各种和风细雨般的议论变成了一场疾风骤雨般的“攘夷风暴”
换而言之，所有日本人均暂时抛弃了自己的立场和个人情感，将愤怒的矛头一齐指向了佩里。
从这种意义上说，佩里堪称日本的恩人。相反，这一历史事件使得部分日本人直到一百年后的二战爆发时，仍然对美国怀有根深蒂固的不信任感，所以佩里自以为效忠祖国的行为反倒为美国的将来留下了后患。
总之，当佩里撤军时，日本全国的诸侯大名不再继续为“佐幕”还是“勤王”而喋喋不休地争论，所有人都变成了“攘夷”的支持派。
江户幕府多次召集全体官员上朝，以老中笔头伊势守阿部正弘的名义要求全日本的各方代表呈报奏书。雪片般飞来的奏书中有许多耐人寻味的内容。
此时此刻，争论的焦点当然是同意美国的要求打开国门，还是墨守幕府的旧法继续闭关锁国。不过，无论是开国论者还是锁国论者，都对以佩里为代表的欧美列强的侵略主义显示出强烈的不满和愤慨。不过，同时他们也都同样清楚地知道日本防务的空虚。
现在，就让我们试着从当时意见最为激进的开国派先驱者岛津齐彬（萨摩藩主）的意见开始慢慢看起吧。
……关于美国人之要求，荷兰国政府此前曾通报过我国，且滞留琉球的洋人之间也多有传闻，可见外患由来已久。其明知我国明令禁止外国船只前往江户，仍强行到访。我国政府虽多次阐明法令，无奈对方未加理睬。然而，出兵驱逐敌舰绝非上策，因我国海防薄弱，并无胜算。况且，即便一时击退来犯之敌船，怎奈洋人之军舰行动自如，且近来常有五六艘军舰在中国海域及无人岛附近航行，唯恐我国海运仍将遭其骚扰。因此，须妥善处置此次事件为要。
如若应允与其通好（通商）则非但有损我国国威，且可能招致荷兰政府的无礼要求。一旦海外列国误以为挟武力之威必能使我国屈服，则后患无穷矣。为此，万万不可轻易答应美国之要求。
不过，来年美国再次派军舰来访时，如当面回绝其要求，则不免兵戎相见。因此，与其一味采用拖延战术，不如陈述我方不得已之理由以劝其早早撤回。我国则可趁此时机加强海防，积极备战。如此一来，则3年之后应无大碍。3年之内，诸国定能同心协力整顿海防。如海防充实，加之我国将士骁勇善战，则战必能胜。巩固海防，浦贺应首当其冲，其他各处要害宜一一确定，不得疏漏。此前，日本将士见到洋人，心中便有几分畏惧。如我方海防坚固，则洋人必定不敢轻举妄动。一旦国力强盛海军强大，即便海运受到侵扰，亦可迅速反击，驱逐洋人。
此次事件非同小可，须知己知彼，妥善解决，否则别无良策。建议设一名总领统管此事，经多方评议，愚以为水户前中纳言（齐昭）堪当此重任。如轻率接受其要求(美国的要求)，恐怕将有损国体。
愚本不才，请大人明鉴。
岛津齐彬历来主张开国图强，之所以提出上述主张，是因为他洞察日本国力不济的事实。
此次幕府向旁系大名征集意见，可谓开了幕府政治的先河。这是老中笔头伊势守阿部在困境中的果断决策，可以说他的举措迈出了日本近代众议制度的第一步。当然，议论的话题还仅仅局限于“攘夷”以下便是当时各方辩论的要点。
德川庆恕(尾张国藩主)
“……若洋人蛮不讲理，则我国绝不可隐忍退让，应倾尽全力，以一战决胜负……”
松平庆永(越前国藩主)
“……以必战之心做好战时之准备，将军人等应即刻迁往甲府为宜。”
相对于“嫡系大名”而言的与德川幕府不存在主从关系的大名。
毛利庆亲(长州国藩主)
“……理应严词拒绝，粉碎其虎狼之心。宜重点加强防务，以断外国觊觎之望……”
松平定猷(桑名国藩主)
“……若同意与外国通信、通商，既有辱国格，又有损国体，有失征夷大将军之颜面……”
锅岛齐正(肥前国藩主)
“……国家安享太平多年，军中士气萎靡，夷狄乘虚而入，实有失国体。应毅然驱逐来犯之敌，振奋平素慵懒懈怠之士气。”
黑田齐溥(筑前国藩主)
“……宜采用与荷兰同等之政策，允许其于规定年限内在长崎通商，然后再从长计议……”
堀亲义(信州饭田国藩主)
“……与其战败后被迫接受其要求而养虎为患，不如快刀斩乱麻，趁早赶走洋人……”
南部谨敦(南部盛冈国藩主)
“……如洋人一意孤行，强行入侵，则应严阵以待，阻止其进入近海，以彰显我国国威……”
水野忠良(沼津国藩主)
“……与外夷通信、通商，有违我国国法，实不可取。”
丹羽长富(二本松国藩主)
“……如洋人派军舰前来威胁，则应举全国之力驱逐之……”
其中，与“御固四家”之一的忍藩一样，主张对外打开国门的意见也不在少数。他们认为“除委曲求全之外别无良策，权且允许其在长崎通商”而持这一主张的人们的最终目的仍然在于“攘夷”众人内心强烈的愤怒之情无不溢于言表。
因此，在日本国内认真讨论开国还是锁国的问题之前，举国上下异常一致地主张先攘夷。正是佩里的傲慢和无礼，使日本达到了空前的团结。
6月15日，佩里来航一事通过京都所司代上奏给天皇。
6月15日距佩里撤离已有三天之久。
幕府命所司代的胁坂安宅先通报武家传奏三条实万、坊城俊明二卿，再通过太阁鹰司政通向皇帝陛下上奏。
此时，陛下对于佩里极端无礼的行径和江户的混乱情形尚一无所知。然而，天皇陛下自继位以来，凭着年轻人特有的直觉敏锐已有隐隐的不安。如今这种不安竟成了现实，陛下为此感到心痛不已。
“此番事件非同小可，因此老中们派下官向陛下报告此事。目前，关东正在商量对策，劝陛下权且静观事态进展。”
太阁上奏时尽管轻描淡写，年轻的陛下听了奏章之后却一直眉头紧锁。
陛下气得双唇颤抖，询问太阁是否需要召集诸公卿商议此事。
太阁认为，陛下收到对方的国书译文后，在必要时召集公卿商议对策也为时不晚，可先由议奏和传奏两位大人商议此事。然而，陛下仍然放心不下。
年轻多感的陛下一定想起了多年之前元人来袭时日本遭遇的国难。
于是，陛下下令七社七寺即刻开始祈祷，并由所司代将此事通报关东幕府。
“美国船只抵达浦贺海域之事已上达天听，圣上谕示须严加防范。圣上担心事态有所扩大，有损于我国国体。为此，圣上已下令七社七寺进行祈祷。谕此。”
就在三条实万将陛下的告谕通报所司代胁坂安宅的同时，七社七寺也接到了陛下的祷文。
只有发生在涉及国家安危存亡的大事时，七社七寺才会同时举行祈祷仪式。
七社是指位于守护日本的神山——比睿山的山王大宫、二宫、圣真子、八王子、客人权现、十禅师、三宫等七座神社。七寺是指东大寺、兴福寺、元兴寺、大安寺、药师寺、西大寺、法隆寺等七座寺庙。
指幕府政治的中心江户附近的地区。
官职名称，负责传达天皇口谕和向天皇上报官员奏折。
“此番夷船进犯相模浦贺海域，详情至今尚不得而知。虽已严加防守，但近年仍有夷船不断侵扰。圣上为此深感不安，唯有祈求菩萨圣明、神明保佑。祈愿早日肃清夷类，还我四海静谧、天下太平。自今日起17日内，七社七寺为宝祚长久、万民安乐竭诚祈祷。”
天皇诏书和祈祷的意义也许会让今天的读者觉得不知所云，如坠云雾之间，一些人还会将其当作迷信而付之一笑。也许，这些艰涩的文字本身已经令现代人感到如此的陌生。
然而，在我们追溯历史、追寻日本国民的精神世界时，这些文字都将成为不可或缺的重要线索。
如果不能读懂文中屡次出现的“国体”二字的含义，恐怕就无法理解日本和日本人。
“神明保佑”“菩萨圣明”表现了人们的一种信仰，人们相信凡正义和纯洁的事物一定能够受到真理的庇护。“早日肃清夷类”也绝非狭隘地表示一部分外国人，“夷”意味着未经教化，代指那些不明真理的野蛮之举和有辱文明的行为。
日本人执著地认为，唯有高贵的灵魂才能受到宇宙和真理的保护。
因此，天皇陛下颁布的祷文的含义是：
“苍天在上，我们绝不图谋不轨，贪婪多欲。”
每当遇重要事件，人们都会以这种方式涤荡心灵，庄严起誓。
自从下谕旨令七社七寺进行祈祷以来，陛下每天都静坐在自己的御所中，为国家祈愿。
20日，幕府派人来报“美舰退去”
陛下于15日颁布诏书，此时正专心祈祷，接到消息以后也并没有因此而停止。26日，美国国书的译文被抄写成两份，由所司代递交到了武家传奏三条、坊城二卿手中。
就在此时，卧病在床的将军德川家庆得悉佩里到来的消息，因备受打击而导致病情恶化，最终不治身亡。
幕府并未对外宣布此事，宫廷当然不得而知。但是，因佩里的行为而引发的江户市民的恐慌、骚乱以及物价飞涨的消息已经传到了京都。
就连京都各家店铺出售的旧武器也顷刻之间被抢购一光。
因为将军的去世，风雨飘摇的幕府仿佛被卷入了无边的巨浪之中，它的前途因此而显得更加扑朔迷离。