佩里的暴行不但使当时的江户城陷入了极大的混乱，也为两国日后漫长的邦交史留下了互不信任的伏笔。而佩里本身却从未有过丝毫的反省之意。
他公然违反与香山荣左卫门的协定，派出测量船在内海左突右窜。在他的《日本远征记》里，强压怒火旁观的日本警备船、岸上老百姓赠送的物品都被曲解成日本国民对他们的欢迎。
书中甚至写道，士兵们为了答谢送来淡水和水果的老百姓，特地对天鸣枪给居民们看，居民们兴高采烈地朝着鸣枪的方向聚拢而来。其实，佩里颠倒黑白的记述无非是想辩解,虽然日本政府不欢迎他们的到来，但日本的国民并非如此。
显然，村民们抱着好奇心前来围观，害怕惹恼了洋人，只能敢怒不敢言，强装出一副笑脸罢了。世界上有哪个国家的国民会欢迎胡乱开枪的军队呢？
此后，香山接二连三地接到了关于美国人过火行为的报告。10日一整夜，他都未能返回浦贺。暴徒在品川海域发射炮弹，江户陷入大乱。如果找不到暴徒的去向和行踪，他拿什么回去交差呢？这天夜里，他命人将船停靠在金泽海域的夏岛附近，一夜都没有合眼。天亮以后，杂役和水手累得筋疲力尽，个个倒头呼呼大睡，而香山荣左卫门却丝毫没有半点睡意。
“佩里这家伙到底想干什么？”
这个家伙哪里算得上什么文明人，简直是个十恶不赦的恶魔，他的所作所为已经证明他就是一个不明是非、不讲礼仪、不讲人道的疯子。
“我的任务其实就是和疯子打交道。”
也许，明天就不得不切腹自杀作个了断。
总之，从美国人抵达这里的那一天开始，香山绞尽脑汁才稳住了御固四家的将士和沿岸布防的诸侯，避免将士们因一时冲动和激愤而惹出什么麻烦。
在日本人面前，他总是宣传“美国人应该是讲信用的”却不料，日本刚刚破例接受了国书，他一厢情愿的宣传便被美国人无情地击碎了。
江户市民受到大炮的威胁，是他这个外交官的失职。到底怎么做才能让这些疯子们早早离去呢？
次日清晨，刚刚打了个盹的香山荣左卫门睁开眼，映入眼帘的是蔚蓝的大海和玫瑰色的天空，一种如释重负的感觉涌上心头，大脑也变得更加清醒。
香山终于看清了对方的真面目。多日来，他以为对方是有良知、懂礼节的一国之使节，所以才费尽心思应付周旋。现在，当他意识到自己面对的不过是一群不可教化的魔鬼时，心境自然完全不一样了。
从现在开始，交涉已不再是国家之间在互相尊重、诚信守义的前提下进行了，而变成了佩里与香山荣左卫门个人之间一对一的决斗。
“算了，根本不用去请示江户幕府和奉行啦!”
虽然自己并不情愿看到这样的结果，但是一旦下定了切腹的决心，自己和佩里就完全变成了个人关系了，以兵刃相见也未尝不可。
“不知军舰回来了没有？”
香山从船上转身望去，萨斯喀那号仍然停在小柴冲海域昨天的位置，而密西西比号则正从距本牧一公里外的地点驶向房总半岛方向。
旗舰似乎又变成了萨斯喀那号。
“好吧，把船靠近旗舰。”
船开动了，香山荣左卫门拿出准备好的礼品看了看。日式锦缎5匹，团扇40把，烟斗50只，漆器小碗50个。他准备拿着这些骗人的小东西去哄哄美国人。
香山的船一靠近，舰长布卡南就立即将他迎上了船。他态度殷勤，小心翼翼地说：
“今天还要测量一天。如果还像昨天那样，在这里找不到可以停泊的地方，我们明天就会离开江户湾。”
布卡南刚说完，翻译堀达之助连忙说道：
“那么，请你写个保证书吧。”
舰长连忙拒绝了。也许，这不过是他个人的想法，目的只是为了向香山表示友好，而并非佩里正式下达的命令。
但是，香山敏锐地捕捉到了布卡南话语中的潜台词。
布卡南的话表明船上的煤炭、淡水和粮食都即将告罄。香山预感到，此时大清国发生了太平天国农民起义，所以保护滞留在中国的美国人的生命财产安全将成为美国军人的当务之急。
“司令原本不允许私自收受礼物，不过，反正也不是什么武器，我就请求司令为我们破一次例吧。”
作为回礼，布卡南送给香山两包棉布、两箱酒、一袋砂糖、四册道光版美利坚合众国志略、一张蒸汽船平面图和一张佩里的画像。
一看到佩里的画像，香山荣左卫门禁不住苦笑起来。心想，如果这张画像是佩里亲自赠送的，自己也许会当着他的面啐上一口唾沫。但是，他强压着怒气，离开了萨斯喀那号。
看来，他们不得不撤退的时刻来到了。
不过，香山打算再次前去试探一下。
他调转船头，给萨斯喀那号送去了1000只鸡蛋和150只鸡。香山知道，他们原本是不接受任何食品的，所以决心用这个方法试探一下。
美国人高高兴兴地收下了礼物。然后，还以佩里的名义询问香山和堀达之助有无妻室，听说两人均已成家，分别送给两人一些棉布，还送了水手们一些面包。
所有这些礼品被原封不动地上缴给了浦贺奉行。第二天，当美国军舰起航时，这些堆放在奉行衙门院子里的物品被付之一炬。
日本原本是一个温和宽容的民族，如此偏激狭隘的行动恰好证明了当时的日本人对佩里的威胁怀有多么强烈的愤恨。