然而大岛浩万万没有料到德国却在暗地里跟日本人玩花招。里宾特洛普一面叫嚷着与日意结成神圣同盟，一面暗暗与苏联的莫洛托夫多次举行了苏德秘密会谈。原因在于：德国是一个欲壑难填的贪婪国家。1938年德国吞并奥地利；1939年，又肢解了捷克斯洛伐克。为了满足其急剧膨胀的贪欲，它的下一个目标便是波兰。
精明的大岛浩却对此情报一无所知。这不能不说是对他的一大讽刺。然而，德国的这一举动却引起英法等国的警惕，使得英法对德的态度强硬起来，并想通过与苏联结盟，孤立德国。可是，德国也想到了这一点，选择苏联作为靠山或盟友以对付英法。这使苏联处在一种即可选择英法为友，又可选择德国为友的地位上。而日本，竟对此毫无察觉。1939年8月23日，苏德签定了互不侵犯条约及其附件秘密协定。
由于德国突然与日德共同的假想敌苏联签订了互不侵犯条约，使日本政府和陆军的处境极为尴尬。8月28日，平沼内阁留下一份“欧洲局势复杂莫测”的声明后，便宣告了总辞职。
耻辱球留给了大岛浩自己踢。大岛浩确切得知苏德签约的消息是在8月21日夜里11点钟。里宾特洛普打电话告诉大岛浩苏德将要缔约时，大岛浩大吃一惊，这种通告简直是突然袭击。大岛浩一面向里宾特洛普提出抗议，一面连夜叩响德国副外长巴伊图泽卡的家门，要求对方说明事情的原委。
22日傍晚，里宾特洛普正要启程前往莫斯科，大岛浩在柏林机场截住了他，再次提出了强烈抗议。里宾特洛普狡猾地回答说：“因为日本外务省常常走漏消息，考虑到你的立场，所以我才没有告诉你。”说完，里宾特洛普登上了前往莫斯科的班机，留下了怅然的大岛浩孤单单地茕立在柏林机场。23日，苏德条约签成。
1939年12月1日，大岛浩疲惫不堪地奉命回国……
1946年4月29日，大岛浩和东条英机等27人一起被作为甲级战犯受到起诉，押到远东国际军事法庭受审。1975年6月6日，大岛浩死于心脏病，终年89岁。