一切都沉寂下来了，勃拉姆斯已找到了平静，他有了控制激情的钢铁意志，不仅与舒曼的遗孀不谈婚姻之事，在他漫长的一生中，也决不和任何人再谈婚姻之事。他带着一种主导旋律从这场情感斗争中脱颖而出，这种主导旋律将支配着他的音乐和他的生命的主题，那就是：“控制你的激情。”“对人类来说，激情不是自然的东西。它往往是个例外，是个赘瘤。”它必须很快地消退，否则就必须把它切除。“在欢乐中保持平静，在痛苦中保持平静。”做一个以19世纪音乐家的面目出现的古希腊哲人，一个心平气和、泰然自若的亚里士多德。
自从舒曼不幸的事发生后，他很久不能决定究竟哪一个都市是他可以安心工作的。汉堡对他有吸引力，但这是他的故乡，本地人不重视他，因此他想到汉诺威去，那里是约阿希姆所工作的地方，对于迪塞尔多夫，他现在觉得没有多大意思，因为舒曼夫人已接受了柏林的一个职位，1856年他本来有一个机会到德特摩尔德去游历一番，但因舒曼的病故而必须到波恩去照料，所以只好放弃。有一个邀请来自弗勒德立克公主，她是当时执政的理培德特摩尔德亲王的妹妹，她想拜勃拉姆斯为师学钢琴，并要他在她兄弟的宫廷里当音乐长，在克拉拉的鼓励下，勃拉姆斯接受了这个邀请。在为期短短的3个月里，勃拉姆斯的音乐才华颇被尊重，可是别人不喜欢他的生活习惯，因为他来自汉堡，汉堡原来是北德意志“自由城”之一，到处充满了自由的空气，不讲究爵位的那一套礼仪，他的举止行为使那些先生、太太们很不习惯。勃拉姆斯也明白这一点，约期满后，他回到汉堡过冬，又往哥廷根过夏。在哥廷根的时间里，勃拉姆斯遇见了他所心爱的佳人。
勃拉姆斯原来在与舒曼夫人克拉拉相处时便觉难以自拔，好不容易摆脱了爱情的枷锁，但心中偶尔也冒出享受一下恋爱自由的念头，在他进入恋爱河流时，他总是小心翼翼，不让自己过于动情，第一个情人是哥廷根一个大学教授的女儿阿加西·冯·西博尔德，通过作曲家格里姆的介绍，勃拉姆斯与她相识了，阿加西具有使勃拉姆斯为之着迷的魅力，她长得小巧玲珑，一头柔软的乌黑的头发在夏天的阳光下光辉闪亮，那双水汪汪的大眼睛透出了她的聪明伶俐，看起来十分动人，勃拉姆斯与她聊天，感到一种从未有过的喜悦，阿加西很具音乐才华，是一位很好的女高音，经常在音乐会上唱勃拉姆斯创作的新歌曲，由勃拉姆斯亲自担任伴奏，据说这还是每个晚上音乐会的固定曲目。他们在郊外漫步，在枝叶婆娑之间对唱小夜曲。“我多么喜欢让我的手指在这样的秀发之间穿来穿去呵！”他对她说。
但是他对阿加西的依恋只是一时的，在分别以后，他写信给她说：“心爱的阿加西，我多么的爱你，哥廷根的夏日回忆，决不是虚假，但是关于结婚，现在的我没有信心，我不能带上婚姻的枷锁……”勃拉姆斯具有一个独身主义者的气质。在热情中保持平静。把热情驱散。每当他快要爱上某一个人的时候，他的乐稿上就会增加一个不朽的片段。勃拉姆斯称之为感情向歌曲的转化。现代心理学家称之为升华。
他对阿加西·冯·西博尔德确有感情，表现在他当时所作的歌曲以及被称之为“阿加西六重奏”的G大调六重奏，在那首弦乐六重奏里，他让第一和第二小提琴重复地发出“阿——加——西”的声音，仿佛阿加西的名字已被嵌在第三主题中了。不过，他虽然的确爱她，并且知道她也的确爱他，朋友们还知道他们互换了订婚戒指，年长的格里姆还严肃地对他说：“约翰内斯，关于阿加西的事你可不能再拖了，她的父母亲似乎都在等你的消息。”勃拉姆斯听了后，还是不敢走上确定终生的一步。阿加西·冯·西博尔德只好离去了，留下一些悔恨。勃拉姆斯对于他自己的沉默，自说有种种理由，世情的冷淡使他颓丧，他说：“当我遇到了这些失败，独自回到自己的斗室里，我对这些失败是不介意的。但倘若回来时遇到了我的妻子一双探询的眼色，而我不得不告诉她，我又遇到一次失败，那倒是我所不能忍受的。”这话听去倒是很有道理，但他至少应给她一个机会，看她愿否接受。假使他是未出山的小伙子，或者是年已四五十而未成名，那么这种顾虑完全有理由，但实际上他正是年富力强、名声遍布全国、乐谱广销各地的成名者。假如他还想有所等待，希望地位的巩固，也应该将这个意思告诉对方。可是，他一点也没有表示，坐失良机，没有人不说他是傻子的。有人以为他遇事谨慎，所以不敢谈婚姻，假如他有胆量担当这些责任，他的成就也许更大。
也许他目睹了舒曼家庭的婚姻悲剧，怀疑自己也会如此，再加上要考虑克拉拉，认为自已同别的女人结婚后肯定会冷淡克拉拉的。赶巧的是第一钢琴协奏曲在莱比锡演奏失败，这个作品是他交付演奏时内心对结婚与否的赌注，所以就做了离开阿加西的选择。阿加西是一个很有自尊心的人，她太相信勃拉姆斯了，这样一来，勃拉姆斯就深深的伤害了她，她回信给勃拉姆斯表示取消婚约，连同那订婚戒指也一齐退回了。勃拉姆斯原来想与她做个永远的朋友，没想到反而受到沉重打击，他从别人那里了解到阿加西痛苦了十年，一直没有结婚念头，到了1866年才勉强同一个医生结婚，直到她婚礼前的一个晚上才烧毁了勃拉姆斯写给她的全部信和赠送她的全部乐谱，勃拉姆斯也在多年后才将那首弦乐六重奏整理好。
过虑，对于自己的力量缺乏信心，这正是勃拉姆斯的特征，他宁可相信来自别人的评论，而不能相信自己的艺术的鉴赏力。我们真不容易了解这样一位艺术家，他的意匠往往超出了他的控制范围。他特别羡慕约阿希姆，因为他说约阿希姆的作曲“牢固地站稳了自己的脚跟”，而他自己的作曲总是“需要一个整形医院”的。像某些大作曲家一样，他对别人的乐曲衡量会失水准，他听到了舒曼的交响曲后，以为到了顶点，不愿再听贝多芬，对于柴可夫斯基，他完全看不到什么好处。然而，对于约阿希姆他像发现了“伟硕的莎士比亚的想像”一样，每当新曲作成，他总去询问约阿希姆的见解。有一次，他作了一首d小调钢琴协奏曲，可他总觉左右不是，易稿不知多少次，每次都要请约阿希姆来评定一下，惹得约阿希姆不耐烦，便催他赶快将稿子交人以便试奏，他照办了。第一次演奏在汉诺威，约阿希姆任指挥，独奏部分由勃拉姆斯亲自演奏，舒曼夫人刚在科隆演奏匈牙利舞曲，博得许多赞赏，也赶来听赏勃拉姆斯的新作。这次演奏，协奏曲在汉诺威受到普遍欢迎，勃拉姆斯得到如此鼓励，想进一步做一次决定性的试验，便到莱比锡著名的盖王厅排演一次，结果并不圆满，评论说它呆板，演奏时竟然有人喝倒彩，失败的理由据说有两个：莱比锡人具有保守性；“新德意志（李斯特）”派的捣鬼。这两个理由的真实性无从考察，但我们可以知道这种协奏曲是不宜在广大听众前作首次演奏的，尤其是表演尚未到达纯熟的阶段。
在勃拉姆斯给舒曼夫人的一些信中，我们可以见到他不喜欢英国，因而和老朋友约阿希姆发生了小矛盾。他写道：“又是英国来的一封信，啊！谁愿去作那一趟不吉利的旅行！”另一次，他在给约阿希姆的信里说：“但愿你明白，我决不能以为你常往英国是对的。”他的成见只是根据一种冲动，对于从未到过的地方，或对于从未接触的人，总是不喜欢的，即便是来自英国的尊敬的表示，也不被他所欢迎。他疑惑约阿希姆的国外旅行无非是为了多挣几个钱，他从不想到约阿希姆心中也应该有他自己所爱的朋友，也没有去考虑一下除了一张英国支票以外，约阿希姆也有他所爱好的事物。
1877年3月，在勃拉姆斯成名以后，英国剑桥大学准备授予勃拉姆斯名誉博士学位的称号，但被他断然拒绝了，不过他的不拘小节已经到了粗鲁的地步。这是剑桥大学由于他在音乐方面的成就表示要向他赠送博士学位，他竟然在一张揉皱了的明信片上写了几句感谢的话就寄了出去。原因众说不一，有的说接受博士学位必须亲自去英国，这对勃拉姆斯来说是件讨厌的事，勃拉姆斯很讨厌英国，他讨厌英国，从未学过英语；有的说那次他不肯去接受的缘故是由于水晶宫的主管人不尊重他，在没有得到他的许可的情况下，就宣称他将为他们指挥一次演奏会。这两件事的联系无证可查，所以，这次稀奇古怪的谢辞惟一合理的解释是他不愿前往。我们可以推测：勃拉姆斯的好朋友约阿希姆熟知英国，深爱英国，必定尽他所有的能耐，劝他改变态度，但他为人极为固执，主意一定，即使有什么样的朋友苦劝，也是不肯改变态度的。
不仅对待英国是这样，对待那些表示友好的英国人时，勃拉姆斯也同样表现出不友好。有一次，英国的作曲家斯坦福德因为仰慕他，请德国人利赫戴陪同前去访问，勃拉姆斯请利赫戴吸了一枝雪茄，却不请斯坦福德吸烟，他台上那个烟盒说英国人是不吸烟的。斯坦福德原是爱尔兰人，具有爱尔兰人的机智，他自己打开盒子取了一枝，点上烟，一口接一口地吸起来，斯坦福德同时还冷静地说上一句：“英国人也吸烟，而且也作曲呢。”
在勃拉姆斯拒绝接受英国剑桥大学的名誉博士称号的两年后，却欣然接受了德国布雷斯劳大学授予他的名誉哲学博士称号，他为了答谢布雷斯劳大学授予他的名誉，提神创作了著名的《学院节庆序曲》。
重回汉堡，定居维也纳
1859年，勃拉姆斯的d小调钢琴协奏曲在莱比锡排演受挫，总的说来，这一次挫折对于勃拉姆斯影响不算大。“我相信这是再好不过的一件事，”他说，“这使人的思想好好集中起来，并且也增加人的勇气。”他回到汉堡，把这部协奏曲再演奏了一次，竟然博得一些听众的欣赏。另一次演奏会，是他约请约阿希姆和斯托克豪森合演的，在经济上有所收入，同时把他和他的乐曲进一步向汉堡展示，更多人知道他了。
勃拉姆斯在汉堡租了间屋子住了下来。有一天他发现邻居住着两位少女，并且在唱二重唱，“声音很好”。勃拉姆斯自言自语地说：“如果再多两位就可以组成理想的四重唱了。”他想到好友贝珊，于是便把她和她的朋友请来，一个女子四重唱宣告成立。队员们认真练习，勃拉姆斯热情指导，消息不胫而走，汉堡女子纷纷前来要求参加，一时间里，人数猛增，先是28名，随即到了40名，这就组织了汉堡女子合唱团。这个合唱团的章程由勃拉姆斯亲自制订，他仿照中世纪的模式精心训练女子合唱，使得每一位台唱队员在技巧上有了很大进步。那是些令人心情舒畅的日子，夏季的排练一般都是在室外进行，在柔和的夜空下，人们经常见到这群青年女子围着勃拉姆斯在歌唱，颇有一番情趣，他受到合唱团每位女子的爱戴。在这段时期，勃拉姆斯逅邂的少女之一是来自维也纳的一个金嗓子姑娘名叫贝塔，她是一个牧师的女儿，唱的奥地利民歌迷住了勃拉姆斯，因为她来自浪漫色彩与欢乐气氛的维也纳，所以她比德国北部那些性格保守的姑娘要动人得多。贝塔后来回到维也纳，嫁给了一个企业家，成了法柏夫人。1868年，法柏夫人生了一对双胞胎，勃拉姆斯知道后，马上构思谱写了一首《摇篮曲》送去以示祝贺，这首歌曲作品后来成了名曲。到了秋天，勃拉姆斯必须离开汉堡了，合唱队的全体队员联合赠送他一只精致的墨水瓶笔架。汉堡过去是“有眼不识泰山”，现在不同了，勃拉姆斯的作品开始有人求取和学习。
虽然汉堡一般人常去听勃拉姆斯的音乐演奏会，汉堡音乐爱好者也常购买他的曲谱，但汉堡的知识分子不买他的账，这种情形有一件事可以证明：本地音乐社演奏会的一位指挥，因为年老体衰，不得不辞去职务，勃拉姆斯请求继任，但同时请求的人有好几个，并且别人的资格都比不上他，他是汉堡本地人，在作曲和钢琴演奏上已经有了地位，他曾指挥的那个女子合唱团成绩卓越，他也知道许多有关管弦乐团的工作方法，并且他也得到约阿希姆和德国其他音乐名流的支持，这些都使他有充分的理由来盼望他的请求得到美满的结果。然而，汉堡当局先是把这事拖延，然后在做出决定时，选中的人不是勃拉姆斯，而是勃拉姆斯的朋友唱歌手斯托克豪森。勃拉姆斯失望了，幸好斯托克豪森事先不知道勃拉姆斯也是其中之一，不然的话，勃拉姆斯可能要与他过不去的。但勃拉姆斯的心里仿佛觉得那是有意和他为准，他认为斯托克豪森是一个优秀的歌手，但缺少指挥经验，至于理论知识，斯托克豪森更是不及于他，照舒曼夫人的说法，斯托克豪森在汉堡所处的地位极不愉快。我们可以推测这与勃拉姆斯无关，可能是斯托克豪森自己的内心感到内疚而已。
勃拉姆斯不想让失败来打断他的创作，因此对于写作品更加投入了。先后写完第一交响曲和日耳曼安魂曲的大部分，另外两首钢琴四重奏A大调和g小调，则在不久后很快写完。他还开始着手写“马杰罗尼传奇”的乐谱。
印刷家在勃拉姆斯于莱比锡演奏失败后，不敢接受他的作品，现在对他又发生兴趣了。第一协奏曲得到一家承印，出版家西姆罗克自动去访问他，后来，所有乐曲的乐谱均由他独家出版了。勃拉姆斯本来想听听汉堡那个选择的后果，但约阿希姆劝他去维也纳散散心。他听取了这个意见，带着储蓄和两首钢琴四重奏乐谱，于1862年9月到了维也纳。
1863年9月，“圆舞曲之王”约翰·施特劳斯在维也纳乐坛大放异彩，而另一位才华横溢、扬名四海的勃拉姆斯应邀来到了维也纳，这样，在维也纳又增加了许多音乐故事。勃拉姆斯终于走进了音乐文化的中心区，他与施特劳斯一见如故，并且在好长一段时间里，他模仿施特劳斯写维也纳风格的圆舞曲，只是他写的圆舞曲不像施特劳斯的圆舞曲那样光彩夺目，优美动人，他写的圆舞曲追求高雅，艺术上独具特色。可见，勃拉姆斯不是追求表面华丽的作曲家，他讲究的是真正的艺术，在他所处的那个时代，正是以李斯特和瓦格纳为代表的新浪漫主义音乐风靡全社会的时期，那时，整个音乐界几乎都崇尚新浪漫主义，都按照新浪漫主义的那套做法进行创作，而勃拉姆斯却反其道而行之，他依旧按照自己的意愿，走着他自己的那种严肃、朴实和严格的创作道路。