法兰克福的邦联会议虽由日耳曼诸邦派代表参与，但实际上是由奥地利大使掌握全权。尤其自腓特烈大帝以来，奥地利视普鲁士为第一大敌，经常借机侮辱挑衅。
法兰克福会议的议长是奥地利大使，他总是以上司对下属般的态度来召开会议。奥使召见诸邦使节时，都坐在椅子上，来访者则必须站立回答，会议席上，唯独奥使口叼雪茄，其他公使则一概不许抽烟。
性情刚烈的俾斯麦对此当然无法容忍。一次，当他拜会奥使时，见奥使坐于椅上，他便不发一言地拉了一张椅子坐下与奥使交谈。他的举动打破了数十年的习惯，此后各国公使也都与奥使对坐交谈。又有一次，俾斯麦见奥使在议席中口叼雪茄，他便走到议长面前，掏出口袋中的雪茄对他说道：“借个火吧！”
在各国大使惊愕的目光下，俾斯麦点燃了雪茄，然后大模大样地走回自己的席位。从此以后，各国公使也都照样在会议上吸烟，数十年的惯例终被打破。
还有一次，奥使擅自篡改会议记录，并向议会报告：“如果诸位认为记录有误，无异在指责我是个说谎者。”
当时奥使高高站在议席上傲视着全场，想不到俾斯麦当即站起来说：“一点不错，阁下就是个说谎者！”奥使当下就要与俾斯麦决斗，而俾斯麦立刻接受挑战。后因经人调解，订正记录，才将此事平息。
后来继任奥使者也同样更改会议记录，俾斯麦也同样地激烈抗议。奥使依照绅士礼仪要求决斗，并决定在附近森林中采用手枪决斗的方式。俾斯麦则泰然自若地回答道：“何必到那么远的地方去呢？就在这庭院中决斗好了。现在身边就有手枪，我可以马上叫大使馆的武官做见证人，你也立刻选定一个见证人，这样不就一切都解决了吗？不过在决斗之前我有一个要求，我得把这一切经过写信告诉国王，请你给我一点时间。不然的话，世人会误以为我不循外交途径而以武力解决这件事情呢！”
于是，俾斯麦立即提笔写信，奥使在惊慌之余，只得俯首认错，取消决斗之事，两人言归于好。
作为国家大使，行事必须谨慎，稍有差错便会引起两国间的战事，俾斯麦屡次与奥使作对，当然了解此中的危险，但他能以国家利益为重，可见其过人的勇气。而奥使无法以武力使他屈服，可知除了勇气之外，他还有过人的智慧。
曾经有一位奥使评价俾斯麦说：“他的头脑明晰，为了达成目的可以不择手段，且深谋远虑，行事坚决，是位可怕的人物！”
在一次晚宴时，奥使见俾斯麦胸前挂了许多勋章，故意问道：“这么多的勋章，是你在哪次战争中立功而得的呢？”
俾斯麦却提高声音正色回答道：“这些都是在法兰克福战争中立功而得的。”
在诸如此类的应酬谈论中，俾斯麦凭借他那过人的勇气、伶俐的口齿、聪明沉着的态度，让对手无计可施。因此法兰克福议会渐渐变成俾斯麦一人独演的舞台，奥使们一个个被他玩弄于股掌之中，而无力与之抗衡。
然而俾斯麦这种粗野的态度，却不为当时的外交界所接受。他在法兰克福的名誉一天天在下降，在他与妻子乘坐马车出游时，甚至会遭到路人丢掷石块的攻击。不过俾斯麦对于世人的批评一概不予理会，他认为世人的批评就像天上的浮云，时聚时散，并不可靠。因此他不信任民众，并从内心轻视他们。
从法兰克福的经验中，俾斯麦体会到奥、普两国绝不能共存，因此他决心攻打奥地利。为了达成这个目的，必须要拉拢哪些国家呢？经过慎重考虑，俾斯麦终于决定笼络俄、法两大强国。
俾斯麦担任法兰克福大使时期，爆发了克里米亚战争。英、法、萨丁尼亚三国联合对俄宣战，攻打克里米亚半岛，战争形势似乎对联盟的三国有利，所以奥、普有意加入。在数年前匈牙利独立革命的暴动事件中，奥因俄国派兵援助而镇压了匈牙利叛乱，不料现在奥国却恩将仇报，欲加入三国同盟，为此，俄国深为痛恨。
此时的俾斯麦断然主张普鲁士保持中立。他想借此机会卖个人情给俄国，希望在以后注定要爆发的普奥之战中，俄能采取中立或给予援助。正如俾斯麦所希望的那样，普鲁士的中立获得了俄国的感谢与信赖，但他的这种做法却引来了英、法两国的反感。俾斯麦的恶名在英法两国政要间流传。
在一次宴席中，法使对俾斯麦说：“你这种策略很可能导致第二次耶拿之战。”但俾斯麦说：“不，你为什么不认为这是莱比锡或滑铁卢呢？”
众所周知，莱比锡与滑铁卢乃法军惨败之地。
现在俾斯麦已是普鲁士外交界的才俊，首都柏林的人都渐渐认识了他。他曾以临时特派大使的身份前往维也纳，解决关税同盟的修改问题。
德国北部诸邦以普鲁士为中心，缔结关税同盟，作为统一德国的初步行动，但奥地利想加以破坏。俾斯麦很成功地排除了奥国的势力，当时他受到奥国朝野的严厉指责，却得到一位知己，那便是年仅二十二岁的奥地利新皇帝弗朗茨·约瑟夫一世。
俾斯麦还曾前往巴黎会见拿破仑三世。这件事使他在柏林的声誉大降。这是因为拿破仑三世是打倒法国皇帝路易·腓力普，以革命手段夺取皇位的人，与他来往，显然是承认欧洲的革命。
俾斯麦早已决定，尽管此举令普鲁士国王不悦，但他仍要接近拿破仑三世。因为一旦普、奥宣战，普鲁士迫切需要法国保持中立，所以，拿破仑三世以革命手段登上帝位的事实已无关紧要。
这就是俾斯麦只重视现实、只重视国家的处事态度。俾斯麦曾说：“外交的目的在增进本国的利益，至于正邪的论调与外交无关。”也就是说，俾斯麦为了统一德国，不惜利用任何国家以达成目的。后来他出任首相时，对外与拿破仑三世保持友好关系，对内则以武力镇压自由主义者的革命行动。由此可见，俾斯麦处理外交与内政的态度截然不同，这也是他被人讥讽为双重人格的原因之一。俾斯麦认为政治是现实的，不能以感情上的理论来衡量。
当俾斯麦会见拿破仑三世时，适逢拿破仑三世威震欧陆、势不可挡之时。俾斯麦一改平日模棱两可的口吻，直截了当地与拿破仑三世讨论外交事务。
拿破仑三世曾问俾斯麦：“如果法、奥开战，普鲁士是否会支持法国？”俾斯麦巧妙而委婉地表示拒绝。一般外交官若遇到这种重大问题，一定会以“必须和本国磋商后再作回答”来搪塞。俾斯麦却直接表明了自己的意见：“陛下对臣的信任让臣甚是感激。在此臣宣誓绝不将此事告诉他人，虽然臣对此事无权决定，但依臣个人立场而言，普鲁士国王对于普、法联合之事可能不会同意。所以关于这件事，臣以为最好不要向本国报告，这将有助于两国的友好关系。”
俾斯麦认为如果答应拿破仑三世的请求，日后法国会以干涉德意志问题为口实而参与其事，同时他认为普、奥之战乃兄弟之争，最好不要有别国介入。俾斯麦的回答留给拿破仑三世极为良好的印象，因此日后普、奥宣战时得到了法国的中立支持。
俾斯麦一从巴黎返国，就向国王威廉四世报告了拿破仑三世的意见，同时建议邀请拿破仑三世到柏林。这件事触怒了国王，此后俾斯麦逐渐失去宠信，但是他并不在意，因为他心中有个征服奥地利的远大目标。
当俾斯麦认为自己登上首相宝座之日为期不远的时候，突然发生了一件事——威廉四世精神错乱了。过去已有些精神异常的国王，自1857年起，病情逐渐加重。第二年，在迎接俄帝乘坐火车旅行时，被俄帝的雪茄熏倒。普鲁士政治环境因而大变，俾斯麦的前途也随之改变。