次日清晨，香山荣左卫门再次乘船向停泊在小柴冲海域的萨斯喀那号出发了。
海上风景如画，两座绿色的小岛浮在海面，天边挂着几抹绯红的云霞。回首望去，只见小柴海岸礁石耸立，在阳光下显得越发的洁白。
“大自然如此美丽，人类的心灵又为何如此复杂难测？”
睡眠不足、毫无食欲的香山荣左卫门置身于湛蓝的碧波之中，仿佛就要被融化了似的，他的心中感到了些许放松。等靠近舰队一看，香山发现萨斯喀那号悬挂的旗帜已经不同于前几日了。
原来，佩里今天转乘密西西比号，已经起锚出航了。
这时，香山连忙睁开惺忪的睡眼，扭头向着本牧冲海域望去。
只见密西西比号正吐着浓烟，向湾内驶去。
舰长探出头来，说：
“司令很快就会回到本舰。既然你已经来了，不妨上船等等吧。”
香山后来才知道，对方的这一举动并非出于好意。此时，香山已经精疲力竭，甚至连站立的力气都没有了。
“他们到底想干什么？”
他隐隐感觉到自己之前的所有努力可能会付之东流。
然而，他身负的责任又不允许他一走了之。此时，他已经骑虎难下。
按照舰长的建议，香山走进船舱歇息了片刻。他以为这样可能更加便于掌握佩里的意图和密西西比号的动静。
正当他在甲板上休息时，一艘日本警备船来到近前。来人是与力近藤良次。
为了防止意外事件发生，中岛派近藤良次火速前往通报驻扎在本牧的细川家和江户的海防事务所。
香山拿起手边的毛笔，给负责海防的官员写了封信。
“……美国军舰正在湾内行驶，其目的是为明春来航时寻找停泊地点，并无他意。注意勿引发冲突。”
香山令近藤乘船将此事口头通报细川家的驻营地，再将书信送达江户。
近藤当然表示赞成，随即离开萨斯喀那号，向本牧方向驶去。
香山荣左卫门不过是一名小小的捕吏，他的细心与佩里的多疑形成了鲜明的对比。可以说，无论作为外交官，还是作为一个普通平民，他都尽到了自己的责任。
香山打发近藤赶往江户，自己继续留在萨斯喀那号等待佩里司令返航。
然而，密西西比号此时已经从他的视野中消失得无影无踪，迟迟没有归来。
海上碧空如洗，荡漾着轻柔温软的海风，香山觉得心中的焦虑仿佛就像一场梦。密西西比号依然迟迟未归。
但是，香山荣左卫门不能离开萨斯喀那号。否则，他拿什么回去向奉行以及负责警备的各藩长官报告呢，难道还能说自己不知道佩里的去向吗？
下午2时……下午6时……时间在焦躁不安中一点点逝去，却仍然不见密西西比号的影子。
落日西沉，夜色降临。
“佩里葫芦里到底卖的什么药？”
香山荣左卫门逐渐失去了耐心，他暗自担心性情急躁的日本人按捺不住一时的冲动触怒了美国人，使事态一发而不可收拾。
但是，令香山坐立不安的密西西比号到底又做了些什么呢？
他们有恃无恐，早已将不靠近海岸的承诺忘到了九霄云外，时而在炮台前招摇而过，时而从入海口沿河而上，骚扰居民。日落时分，一直进犯到能够看得到品川驿站的海面上。
当然，他们一方面想继续吓唬吓唬日本人，另一方面也想试探一下日本政府忍耐的极限。直到此时，倒没有引发什么特别的事件。威胁者只是自导自演地在唱一出独角戏。
然而，当他们在品川海域继续着威胁行径时，事件达到了高潮。
黄昏来临时，他们竟然从海上又连发了几发炮弹。
也许，佩里仍然会辩解这是送给江户市民的礼炮。
多日来，江户居民在惶恐不安中度日，一听到黑暗的夜空中传来隆隆的炮声，便即从家中夺路而逃。
惊弓之鸟般的老百姓和武士都误以为，双方已经开战。
江户城里的警钟也一声紧似一声地鸣响了。
大家都知道，鸣响警钟意味着事态紧急。此时，有人戴起头盔、穿上消防服，有人急忙搬运武器，有人带着什物家具急匆匆地从海路逃离，城里乱成一片。
顷刻间，江户城内流言横飞，信使急奔。
偌大的江户城纷乱嘈杂，已无立锥之地。
无论是幕府还是温良的伊势守阿部正弘同时下令：
“势态已经忍无可忍，立即击退敌军。”
越前家臣中根雪江在文中写道，幕府再次命令前任的老中、若年寄、三奉行以下重臣连夜登城。
江户幕府的官职。是仅次于老中的高级官员。