哈理斯故意用英国人吓唬日本，进一步加剧了幕府的恐慌。
荷兰通商贸易官屈尔求斯曾经向日本通报，英国的香港总督珀林正率领着五六艘军舰直奔日本而来。
荷兰人详细地描述了英国人在中国广东烧杀抢劫的种种暴行……
现在，一个哈理斯尚且如此难以对付，如果再加上一个那么残暴的家伙，又该怎么办呢？
所谓“福无双至，祸不单行”荷兰唯恐落后于其他国家，据说最近也新增派军舰前往长崎。同时，日本北方的函馆奉行也派人前来禀报，说俄国使节普切尔金在北海道登陆，要求与日本早日划定国界。
此时日本面临的境地可以用“四面楚歌”来形容。陷入绝境的幕府不得不从根本上改变闭关锁国的政策。
尽管幕府希望自主处理国内事务，可是敌人接踵而来，水户齐昭的深闺佳人论只能是纸上谈兵，却不能拒敌人于国门之外。
此时，想要维护佳人的尊严，就必须拥有足够强大的实力和武力，将来犯者悉数赶走。除此之外，别无良策。
这种孤独无助的屈辱感不断积蓄的后果就是明治时期以后的军国主义。如果水户齐昭在天有灵，他或许会慨叹：
“深闺的佳人最终还是没能逃过欧洲暴徒的魔掌。昭和时期的军阀就是他们之间产下的可悲的私生子！”
在这场令人应接不暇的巨大灾难面前，因为与洋人交涉而殚精竭虑的老中阿部伊势守正弘首先病倒了。
安政4年（1857年）6月17日，阿部正弘因罹患胃癌，满怀对国家的无限牵挂英年早逝，年仅39岁。
阿部的离去使得受阿部的推荐而重新当上老中笔头的堀田正睦感到更重的责任感。
6月18日，就在阿部伊势守去世的第二天，哈理斯再次强行要求谒见将军。
“看来，只剩下最后一条路了。”
堀田正睦在阁僚会议上最终决定接受哈理斯的要求。
这时，哈理斯向日本提供了美国与暹罗（泰国）签订的通商条约的荷兰语译文。正睦拿着这份译文试图说服其他阁僚。
“哈理斯的话自有他的道理。既然肩负总统的命令，责无旁贷的他当然不能半途而废。而且，如果为了保全自己的面子而拒绝与其进行谈判，只能使局面越来越糟。除了哈理斯，我们还要应付俄国、英国和荷兰。不如索性准许他前来江户谒见将军，直截了当地告诉他日美两国国情各异，日本国法不容改变。因此，我打算亲自与他见面。至于是否接受他提出的条件，最终的决定权还是在我们手里。与哈理斯进行谈判并不会有损国格，所有事务由我全权处理，所有责任也由我一人独自承担。”
屋里一片寂静，没有一个人表示反对。不仅如此，自从阿部伊势守去世之后，大家其实都在默默地等待着堀田做出这一决断。因为，这似乎是唯一的办法了。
“各位意下如何，是否赞成我的意见？”
“如果堀田大人您心意已决……”
“没有异议。”
这样，阁僚们算是达成了一致意见。但是，对外公布这一决定的时机还不成熟。
于是，幕府阁僚一边逐一审议美国与暹罗两国的通商条约，一边询问哈理斯美国国书的内容。
在此之前，他们对签订条约的内容都毫不知情。当然，哈理斯这次仍然以“外交惯例”为借口，拒绝透露国书的内容。
“国书是写给将军的，不便泄漏内容。不过请放心，国书的内容和与暹罗签订的条约没有什么不同。”
后来，条约的内容成为袭击日本的新一轮风暴。它主要由四个要点组成。
一、除下田、函馆和长崎之外，再开放江户、大阪、堺和马关四处港口，允许日美两国国民自由贸易。
二、出于航海需要，允许外国军舰在日本沿海进行测量。
三、允许派遣公使驻留在江户府。
四、允许在美国人的各个居住地设立耶稣教堂。
显然，水户齐昭并不会赞成同意这些条件。于是，堀田正睦于7月2日首先在阁僚会议上决定同意哈理斯谒见将军，并于7月20日再次召集溜间候见诸侯，宣布迎接哈理斯进入江户城。虽然诸侯对这一决定感到意外和惊愕，却没有一个人胆敢反对堀田做出的决定。
接着，堀田正睦又于3天之后的7月23日免去了水户齐昭参与政事的资格。
阿部正弘或许还能应付齐昭一番，而亲兰派的正睦对于齐昭的反对早已极不耐烦，懒得逐一前去汇报请示了。刚刚罢免齐昭之后，幕府就于次日（24日）命尾张、纪伊和水户三家当今藩主前来幕府，向其通报允许哈理斯进入江户城的决定。
对于幕府做出的这一决定，纪州保持了沉默，而尾张的德川庆胜和水户的德川庆笃则联名上书，表示强烈反对。
在此之前，将军不过是幕府的摆设，根本不可能在这国难当头的关键时刻挺身而出，也没有与哈理斯这种难缠的外国使臣进行交涉的能力。
德川庆胜和德川庆笃担心的是，如果幼稚无知的将军在哈理斯面前失言说出什么有失体统的话，后果将不堪设想。
不久之后，尾张和水户的呈报书在各位溜间候见大名之间产生了很大的影响。
8月30日，溜间候见诸侯也向幕府提交意见书，声称绝对不赞成让哈理斯进入江户城。幕府内部顿时出现了不祥的裂痕……