关于这位新任的奥地利首相，俾斯麦曾对人说：
“奥地利政治家们的言论对我来说就像马耳东风，不值一闻，但唯安德若西例外。”后来安德若西之所以能在柏林议会中立功，也是俾斯麦一手提拔的结果。
同年12月，俾斯麦建议威廉老皇遣王子访问俄国，作为俄皇访德的答礼。当时王子率毛奇等陆军将官一行人出发。俄皇热烈欢迎，举行国宴，声明两国的友好是欧洲和平的最大保障。俄皇的这项声明，对法国和奥地利影响很大。因为该声明表示了两国军事同盟。而他们的敌人不就是指奥地利吗？奥地利国内大为惶恐，想：“倒不如趁此机会与他们缔结同盟才是上策。”
结果，德、奥、俄三国在柏林订立三国同盟。
普奥战争时，意大利曾是普鲁士的同盟国，但是在普法战争时两国感情冷淡。后来意大利逐渐发现德、意两国利害一致。其一是关于天主教的问题。意大利王国内，罗马教皇享有治外法权，这让意大利政府很为困扰。因此意大利政府与梵蒂冈不断发生冲突纠纷。而俾斯麦也体会到罗马教皇和德国间的利害冲突，所以也实施排除天主教的政策，拉近了德、意两国的关系。
另一共通的利害关系是法国，意大利一向害怕法国的强大，尤其担心波旁王朝复活。
1873年9月，意大利国王伊曼钮率首相和外相访问柏林，受到热烈欢迎，而1875年秋，威廉皇帝也亲自前往米兰会见了意大利国王。
1873年秋天，法国偿清赔款后德国必须全数撤离，而在此之前的5月，齐耶内阁垮台，由麦克马亨元帅继任为法国总统。
麦克马亨元帅是色当战役中的败将，但他在法国国内名声显赫，他在克里米亚一战中骁勇善战，在北部意大利与奥地利作战时屡建奇功，被拿破仑三世封为公爵。
他就任法国总统后，向议会提出将总统任期由3年延长为7年的议案，然后又提出陆军改革案，二者均顺利通过。这些事令德国大感不安，德国人害怕麦克马亨元帅准备复仇战事。
此时火上浇油的是宗教问题。欧洲最大的政治问题是天主教徒必须绝对服从罗马教廷，这与各国的内政相抵触，所以，时常引起政治、外交上的大纠纷。现在法国也正在煽动天主教徒事件。
法国属于旧教，即天主教国，德国人民大多信仰新教，奥地利、意大利、西班牙等国人民大多数信仰天主教，所以法国旧教徒的偏激分子便以教会的名义攻击德国，而各地的天主教也激烈排斥德国。这使俾斯麦很愤怒。再加上奥地利与意大利两国有意脱离德国转而与法国同盟，这让法国天主教徒大为兴奋，四处宣传天主教国家将联合势力击败德国。
俾斯麦的政策是尽力谋取和平，但是如果不能和平就随时攻打法国。现在他眼看着法国蓄意挑拨，心中的怒意几乎按捺不住，德国精兵准备随时渡过莱茵河攻打巴黎。
为此英国深感震惊，想尽办法加以阻止，法国也感到惶恐，因为他们还没有作战的准备。在这种情势下，俄国宰相高柴可夫有意出面调停。高柴可夫对俾斯麦在欧洲的声望有所嫉妒，而现在正是一个大好机会。所以他答应法国大使的要求说：“最近我要随皇帝到德国温泉度假，途经柏林时会把你的意见转达给俾斯麦的。”
1873年5月10日，高柴可夫与俄皇一起抵达柏林，在问明已无开战的危险后，便以俄帝的名义发表和平声明，同时高柴可夫也电告各国大使：
“皇帝在确定柏林有维持和平的诚意，并获得保证后，将要离开此地。”
柏林会议与欧洲和平
1878年6月13，在柏林召开的柏林会议与德意志帝国的诞生，都是俾斯麦一生中的外交盛举。这是拿破仑战败，1815年的维也纳会议以来的第一次世界性会议。当年出席维也纳会议的小小德国，如今已成为一方之雄，而且该次会议的地点还在德国首都柏林，议长是德国首相俾斯麦，难怪德国上下都会为之欣喜若狂。
会议起因于俄国与土耳其的战争。作为北方大国的俄国一直都希望在南方能拥有一不冻港。俄国在南方有4条出路。
第一条是巴尔干半岛，先占领君士坦丁，然后进入地中海。如果俄国占领巴尔干半岛就会严重威胁到奥地利的安全，如果俄国进入地中海，就会妨碍英国本土和印度间的交通，所以英奥两国便从中全力阻碍。
第二条是从中亚经波斯湾进出印度洋。这等于横夺了英国的宝库——印度，英国一定会誓死保卫。
第三条是从中国北部或朝鲜南下，为此，日本后来就与俄发起了大战。
第四条是从中亚穿过新疆、四川，自广东出海。俄国的间谍曾在华南地区活动。
1877年4月，俄国以虐杀保加利亚人为口实，对土耳其宣战。第二年3月，土耳其战败投降，双方订立条约。
当时，英国内阁为狄斯累利领导的保守党，外交政策较强硬。因此狄斯累利将英国舰队集中在博斯普鲁斯海峡，同时把印度兵团调到了马耳他岛，并在议会通过两千万英镑的军事用款，英国国民也在街道上示威游行。
全世界都屏气凝神，静观是否会发生一次欧洲大战。大家注目的焦点是俾斯麦。因为欧洲强国中德国与巴尔干半岛的利害关系最少，而且德国的首相是欧洲第一位大英雄。要和要战，都要看俾斯麦的举手投足而决定。
2月19日，俾斯麦在德国议会发表演说，为了欧洲和平，他挺身而出，想要担任英俄两国纠纷的调解人。一开始，俾斯麦就认为英俄间根本不到发生冲突的地步，他曾对身边的人说：“鲸鱼和大象是不会打起来的。”
英国是世界第一海上强国，俄国为世界第一陆上强国，两者都很强大，但一海一陆，根本无法一决高下。俾斯麦愿意出面调停，对英俄而言是求之不得的事。
6月3日，邀请函正式发出，13日，各国代表聚在柏林。当时的俾斯麦73岁。
俾斯麦的官邸大厅里聚集了七大国的20位代表。他首先用法语宣布开会，他魁伟的身躯和洪亮的声音，震撼了全场人士。俾斯麦致辞后，在他右方第六位的瘦小老人站了起来，脸色略显苍白，相貌略似东方人，黑眸、黑发、多须，这一切都和俾斯麦不同。这位老人开始低声说话。
听众们都探出上身，专注倾听，不过即使听到了声音，也听不懂内容。失望之余，众人开始窃窃私语，只有俾斯麦不时地点头表示赞许。这位老人究竟是谁？他在用哪国语言发言？大家都猜不出来。这位老人就是顶顶大名的英国宰相狄斯累利，他在用英语演说。当时的国际会议规定使用法语，狄斯累利竟敢漠视规定用英语演说，而且声音微小，这真的是英国第一雄辩家的演说吗？
各国代表交头接耳，他们都不认识狄斯累利。其实这是狄斯累利的一种战术，他有意在俾斯麦演说后用小声而无表情的态度演讲，当他发现众人皆不知他所云时，不禁暗自窃笑。没有人知道他是故意装出来的，当然俾斯麦早已看穿。
接着发表演说的是比英国首相狄斯累利和德国首相都年长、瘦骨嶙峋的俄国首相高柴可夫。他脸色光润，拄着拐杖，以流畅的法语演说。
坐在议长席上的俾斯麦低着头，似乎在专心听这位老者的演说。他手里拿一支铅笔，不停地在纸上画着，原来他正用德文写了一大堆“过分，过分，过分……”。
第一天的议程结束后，第二天进行讨论。俾斯麦担任议事的裁决工作，他的确有一套。会议进行得很顺利，过去的维也纳会议花了半年时间，而这次的柏林会议只用时一个月，这全归功于俾斯麦。会议自6月13日起召开，到7月13日结束。
其中最大的问题是俄国和土耳其所缔结的条约该如何处理，关键在保加利亚等地的归属问题。保加利亚问题，英、俄两国都坚持己见，互不相让。英国首相甚至在参加会议前就完成了一切的战事准备，还命令他的秘书准备好专用火车，以便随时离开柏林。俾斯麦听到这个消息后，立即到旅馆拜访了狄斯累利，提出各种妥协方案。但狄斯累利表示在伦敦与俄使已详细谈过，所以决不让步。
俾斯麦问他：“这算是你的最后通牒吗？”
狄斯累利明白答道：“是的！”最后俾斯麦说：“我现在要去王子那里，今晚你能否到舍下用晚餐？”
当晚狄斯累利辞去英国大使的款宴，来到俾斯麦官邸。他们两人边吃边喝，相谈甚欢。最后，俾斯麦终于认定，英国首相的最后通牒绝非虚张声势。第三天，英国首相电告维多利亚女王：“俄国终于屈服，承认英国对土耳其帝国的欧洲国境有军事、政治的支配权。”
英国女王立即回电嘉勉狄斯累利。狄斯累利回国后受到热烈欢迎。柏林会议的成功是有代价的。俄相高柴可夫悻悻地返回俄国，俄皇也认为德国背叛了俄国，竟然不顾及普奥、普法战争时俄国曾给予的支持，反而处处与俄为难。于是俄国国内的反德分子趁机煽动，欧洲外交界也谣传德、俄即将开战，若真是这样，法国也一定对德宣战，德国将前后受敌。
就在此时，俾斯麦又展露了他一流的外交手腕。
1879年9月底，俾斯麦突然出现在维也纳，但是仅仅停留了4天，就是这4天，他口袋中有了一份德奥军事同盟条约。条约中约定，如果德奥两国有任一国遭到俄国攻击，另一国必得全力以助。这并非攻守同盟，而是单纯的防御同盟。但有了这个条约，德国安心不少。
这是俾斯麦外交策略上的一大成功，因为这个条约的签订，不仅仅奥地利答应了军事援助，也说明奥地利已不再记恨萨多瓦战败之耻，而且为了征求亲俄主义的威廉一世的同意与奥结盟，俾斯麦费尽口舌，最后不得不提出辞呈才勉强获得了皇帝的许可。
俄国曾建议法国订立两国攻守同盟条约，但遭到拒绝，所以在欧洲一直孤立无援。1881年3月，俄皇亚历山大二世遭人暗杀，俾斯麦立即提议各国订立政治犯引渡协议，此举使俄国政府深受感动，因而改变了与德对峙之态。同年秋天，两国皇帝和宰相在但泽会见。虽然政治犯引渡协议没有获得各国的支持，只有德俄两国签署成立，不过却对德俄两国关系的改善有很大帮助。
另外，俾斯麦暗中扶植土耳其的新势力。在柏林会议中，他极力保全土耳其的欧洲领土，让土耳其国王很感激，尤其欧洲列强中，唯有德国对土耳其没有直接利害关系。因此土耳其国王便聘请德国的文武官员负责该国军事、行政、财务等各方面的内政改革之事。同时到德国留学的土耳其青年也逐年增加。可惜俾斯麦死后，德国政治家没有善用他所扶植的土耳其势力，反而加以破坏，造成德国的孤立。
俾斯麦很有先见之明，他不满足于孤立法国，而且想到要让法国有所发泄，所以建议法国向外获取殖民地。柏林会议时，法国全权大使曾对俾斯麦开玩笑说，其他各国都获得土地，唯独法国未得任何好处。俾斯麦当场答道：“那你认为突尼西亚一地如何呢？那块土地谁也不会去干扰。”
后来，当法国侵占土耳其领地突尼西亚时俾斯麦毫不拦阻。因为他想让法国人的注意力转向非洲大陆，这有利于分散阿尔萨斯及洛林的胶着情势。果然法国的全副精力都放在了海外拓展上，国内的反德思想也逐渐缓和。
俾斯麦的外交手法不仅是一石二鸟，有时甚至一石三鸟。他把突尼西亚默许给法国，博得了他们的欢心，同时使一向垂涎突尼西亚的意大利掀起了反法运动。过去意大利的第一敌人是奥地利，第二敌人是法国，后来因为拿破仑三世的援助，法意两国关系改善了。如今，俾斯麦又使意大利和法国反目。
1881年，意大利国王伊曼钮访问维也纳，这表示奥地利与意大利两国间多年的仇视已消，也是意大利亲德的表现。果然，在1882年，意大利便加入了德奥同盟，成立了三国同盟。
这个三国同盟直到第一次世界大战前的30年间，一直是欧洲外交的中心，维持了欧洲和平。此外，俾斯麦还注意到了西班牙。
当时的西班牙正陷于内乱，一次小型战斗中，叛乱者俘虏了西班牙国军的一支分队，其中有一位德国人，他以战地记者的身份随军作战，而叛军误认他是密探将其枪毙。
这件事如果发生在十数年前，德国也只好认了，但现在不同了，俾斯麦绝不会放弃这个机会。他马上派军舰封锁了叛军占领的港口，使其无法从国外获得粮食，并且警告法国不能再帮助西班牙叛乱分子，进而通知欧洲各国承认马德里的西班牙政府。除俄国外，其他各国都赞成俾斯麦的主张，所以西班牙内乱很快就被平定了。西班牙政府因感谢俾斯麦而实行了亲德政策。