勃拉姆斯和约阿希姆的友谊可算非常亲密的了，但还是因一次较严重的争吵而交情中断。事情的起因是这样的，勃拉姆斯的安魂曲应在蓬府举行舒曼纪念会时演奏，但委员会没有这样做。勃拉姆斯怨约阿希姆，以为是他不肯通过的原因，幸亏舒曼夫人出面调解，才解除误会而言归于好。后来，约阿希姆和夫人出现了极大的矛盾，勃拉姆斯则站出来为他的夫人报不平，帮助了她，于是两人矛盾又生，避而不见两年之久。友谊受到了伤害，两人却又对对方的造诣羡慕不已，后来，经朋友调解后才有所好转。这件事可能是约阿希姆有主要责任，要好的朋友愿为夫妇调解纠纷是常有的事，而且这样能使矛盾很快解决。朋友们也认为，那次法庭所主张的是对的，罪过不在约阿希姆夫人。也许勃拉姆斯爽直的斥责，使约阿希姆难堪，更使他感到非常惊异的是勃拉姆斯以前对他是非常逊顺的，现在却判若两人。后来，朋友们把两人拉拢在一起，勃拉姆斯那坚定和猛烈的神情也消失了。他自己新近作了一首双重协奏曲，还得请教这位珍贵的朋友，想听取一点艺术的批评。当约阿希姆同意品评作品后，勃拉姆斯绷紧的心弦才放松下来。这协奏曲真的把两人重新拉拢在一起了，不过在约阿希姆根据乐谱严格演奏时，他的意见却是尖锐的。他认为这在勃拉姆斯的作品中不算是有精神的，这个意见后来对作品一直不利。
在勃拉姆斯的朋友中，有位叫封·彪罗的管弦乐团指挥，对勃拉姆斯的作品特别欢迎。他甚至说无论勃拉姆斯什么时候写有新作，他们就什么时候为他演奏。那个乐团虽小，却是德国最好的，它成了勃拉姆斯作品演奏的权威。乐团中单簧管的演奏人是著名的牟尔非尔特，他的单簧管演奏像约阿希姆小提琴演奏一样精彩。他的技艺鼓舞着勃拉姆斯创作单簧管和钢琴的奏鸣曲，以及单簧管和弦乐的五重奏，这成了勃拉姆斯最喜爱创作的作品之一。封·彪罗和他的管弦乐团走遍德意志全境，到处宣传勃拉姆斯的作品，可他们之间也有过一次误会，这完全是勃拉姆斯缺乏接人待物的修养之故，幸而不久言归于好。
照勃拉姆斯的脾气必然是要遇到许多敌手的，其中之一是瓦格纳。瓦格纳和尼采闹了一场，为的是尼采要给他看勃拉姆斯的一个胜利的小曲。还有一个敌手是爱安静、求和平的布鲁克纳，他的作品引起了勃拉姆斯的藐视，“布鲁克纳是一个骗子，我死后一二年就能把他忘掉。”勃拉姆斯毫不在意地说。还有一个和勃拉姆斯作对的人是佛尔夫，他总是不得志，以为是勃拉姆斯一辈人（包括李斯特）的捣鬼。李斯特不算是勃拉姆斯的朋友，但他是瓦格纳的朋友，而佛尔夫却是很尊敬瓦格纳的，可佛尔夫疏远了勃拉姆斯，同时也恨李斯特。
为勃拉姆斯辩护的人说他早年缺乏教育机会，因此行为不合礼节，并引勃拉姆斯自己说的话：“教我哪里去学待人接物的礼节呢？我少年时只在水手的酒吧间或俱乐部里去讨生活，哪里谈得上礼节呀？”他幼年的环境的感染可以解释他缺点的一部分，但当一个人不能设身处地地待人，对别人的感情缺乏同情，不能想像他的笑骂对于对方的影响，那么，他必定另有所缺乏。很多人认为，勃拉姆斯实在缺乏了解男人，也缺乏了解一般女人的能力。可是，话说回来，我们应当赞美他对人有同情的地方，他对儿童体贴入微，像妇人一般。他走进天主教堂，必先求取圣水。他在点燃一支雪茄以前必先得到在座的妇女的允许。他若晚归来迟，必先脱去鞋子，以免搅醒睡人。这些可敬可爱的德行，虽然细微，究竟也是美德。维也纳传说他有一次在外边酣饮，直到天快亮时才回，不小心惊醒了房东的女主人，接着就有一番架吵，这故事也许是他的敌人捏造出来的。
勃拉姆斯在维也纳这段期间专门研究了室内乐，写了几首钢琴四重奏，一首大提琴奏鸣曲和一首小号三重奏。在爱好音乐的维也纳人中间，他已经为自己赢得了值得羡慕的声誉，但是他心里始终隐藏着一种愿望，想回到故乡去。人们普遍认为，一个人在自己的家乡里成不了倡导者，如果他——勃拉姆斯能把这种观念驳倒，这对他来说确是件引以为荣的事。他特别希望能被任命为汉堡交响乐团的指挥。可是这个希望落了空，家乡人把他忽略了。他继续留在维也纳，担任维也纳合唱团的指挥。他对待艺术一丝不苟，巴赫的宗教作品在他的节目单中占有十分重要的地位。一个爱开玩笑的评论家因此说：“在勃拉姆斯真正快乐的时候，他会让合唱团唱起‘坟墓是我的快乐。’”
他在维也纳的贵族人家教授音乐，又赢得了一个年轻女学生伊丽莎白·冯·施托克豪森的欢心。后来，这个姑娘也与别人结了婚，成了勃拉姆斯最忠贞不渝的朋友之一，死后还给勃拉姆斯留下一大笔钱财。勃拉姆斯怕她丈夫对他们早期的关系产生误会，千方百计把款子退了回去（这笔遗产是藏在一盒乐谱中送到他那儿去的），他解释说：“一定是有人把款子放错了地方。”他还对两位歌手斯彼斯和巴比有好感，爱才之意也许多于取美之心。他听到巴比预演时唱完了他的一首歌曲后，他说他此生还是第一次听到这样的歌声。除了这句话以外，更没有其他证明可以使我们猜想他有恋慕之意。但他的亲密朋友，曾疑心他真有想摘取这女子爱心的想法，也是证据不足。关于斯彼斯的事，只不过根据餐后笑谈而已。当各人举杯祝寿的时候，勃拉姆斯要斯彼斯当众举杯以祝她未来的翁舅的健康，斯彼斯一时被弄得十分窘迫，不知所措。她好似对勃拉姆斯的举动感到意外，而勃拉姆斯当众进一步戏言说：“她在疑惑勃拉姆斯有没有父亲呢？”这个玩笑是大了点，假如勃拉姆斯真是对这女子有恋情的话，他大概不会用这样的戏语来开玩笑的。
他有时像一个身穿杂色衣服的流浪艺人，用他的吹奏使女人的心跳起欢乐的舞蹈，但他只对两个女人——克拉拉和他的母亲——献出过自己的心。在他接近不惑之年时，基本结束了在维也纳和汉堡之间穿梭往来的岁月。他搬到卡尔大街两间一套的单身公寓里，那地方就在大教堂和市中心广场附近，他在这儿一直住到生命的最后一日。在维也纳这一套小小的公寓里，除了他以外，谁也不会感到满意，因为他在这里可以随心所欲。房间是这样安排的：要想从一条肮脏的过道进屋子，得先穿过厨房和卧室才到起坐间。进去之后却没有地方可以坐，所有的椅子上都摆满了乐谱和书籍。一个角落里放着一把老式的扶手椅，椅脚看上去鼎立着，而实际已松动不堪。勃拉姆斯常常请初次相识的人尤其是姑娘去试坐一下，他们一坐下去，立刻就会两脚朝天，可以说这是他为了向女士们开玩笑而特别准备的用具。他还亲自到市场购买东西，还起价来完全像个地道的渔妇，如果真有一大盘鲱鱼让他在晚餐时刻享用，他则比什么都高兴。他用钱吝啬，爱抽雪茄，狼吞虎咽，使老太太们感到震惊……本来他就有鲜明的隐士性格，如今他又蓄起了胡须，他似乎想做一个名副其实的隐士了。
他的那些不良习惯，都不能影响他的名声，主要是他的每一新作传播出来，必然提高他的名声，到各首交响曲都印行时，他的名声达到了最高峰。第一交响曲在1876年演出，次年演第二交响曲，6年后演第三交响曲、第四交响曲则在1886年公演。特别值得一提的是1878年，勃拉姆斯有过多大的为难。那年是汉堡交响乐团成立50周年，市政府想举行一个音乐演奏会来庆祝，打算聘请勃拉姆斯担任这场演奏会指挥。照过去的情况，勃拉姆斯会干脆拒绝的，但这回却迟迟未决。那不愉快的回忆毕竟过去了，昔日希望作它的指挥而遭冷遇。如果今日记恨下去，那《第二交响曲》的演奏将会成什么样子呢？市政府也是好心，将纪念会那天的节目安排为以演奏《第二交响曲》为中心，可这首交响曲不是一般人能够指挥的。勃拉姆斯还是去了，结果受到了汉堡市政府以最热烈的方式——汉堡交响乐团奏乐迎接他。当勃拉姆斯出现在音乐演奏会的指挥台上的时候，场内立刻掌声四起，听众中有克拉拉和她的女儿朱丽叶，有继母卡洛莉，勃拉姆斯早年的老师马克森应邀也来到了。《第二交响曲》演奏得很成功，朱丽叶还送上了桂冠花圈。第二天，勃拉姆斯把那桂冠花圈恭恭敬敬地献到了已经作古的科塞尔老师的坟前。
勃拉姆斯的作品以其独特的个性，使一向爱好他作品的人大吃一惊，因为以前他只写小夜曲或海顿式的交响曲而已。1878年、1881年、1882年分别上演的各部作品均有高水平。这些证明了舒曼的先见：“勃拉姆斯置身音乐界时，一切能力已具备，似有凤慧，不假外求，他一过少年时代，观点便已确立。”
痛失精神支柱
1895年10月的一个早晨，两位年老的音乐家在法兰克福戏剧性的相会了，这时克拉拉已76岁了，而勃拉姆斯也到了62岁的高龄。当时是勃拉姆斯外出旅行，顺道探访克拉拉，当天还要返回维也纳。勃拉姆斯首先听了她演奏巴赫的前奏曲和赋格曲，报以热烈的掌声。接着，她又演奏起那首浪漫曲来，只见她表情愉悦，洋溢着新鲜的感受。这是勃拉姆斯三年前完成的一首小曲，勃拉姆斯激动地站起身来，他知道，克拉拉的耳朵已不灵活了，完全是凭乐感演奏的。一曲终了，两人便紧紧拥抱在一起，“再见，约翰内斯……”“克拉拉……祝你永远健康。”他们相互祝愿，也许都预感到这是他们最后一次相会了。
勃拉姆斯虽然住在维也纳，也常常出去旅行，有时指挥乐团，但以弹奏钢琴时为多。他往往到山林深处去过夏，又常往意大利赏春。他的暮年特别的快活，此时，他的地位已经巩固。他的经济已经充裕，无忧无虑，也不以同辈逐渐凋零而过度伤感。舒曼夫人克拉拉来信时，每次都告诉他朋友中或病或死的消息，斯托克豪森病故了，瓦格纳死于1833年，李斯特故于1886年，嫁给亨利克的伊丽莎白故于1892年。两年后，他在维也纳的亲密朋友俾尔罗特辞世而去。
不过，朋友去世总是一种损失，只是勃拉姆斯活动频繁，无暇他顾而已。他那时名声波及全国，仰慕信件纷纷而来。莱比锡以前对于他的第一钢琴协奏曲曾报以倒彩，后来对他的“学院”与“悲剧”的几首作品表示冷淡。现在在了解他之后，特别举行勃拉姆斯音乐演奏会，勃拉姆斯听了之后自然是颜开心慰。旅店经理尊勃拉姆斯为上宾，等到计算账单时，总是予以优惠。他被人请去演奏，只打算收取一点资酬供开销，哪知有一次一个人竟然送他2000马克，并且在他的演奏会中，音乐未结束，人们决不中途离席。有次别人设宴招待他之后，他还就此给克拉拉写信：“这次的宴席，丰盛无比，与我从前在兰堡大酒家所享用的有天壤之别！”
克拉拉在给勃拉姆斯最后的一次信中，曾经说到了她的一个青年英国学生普维克，这个学生曾以才能和品行受老师的爱戴，克拉拉颇想知道勃拉姆斯对他的意见。勃拉姆斯开始对他不敢轻易下结论，他觉得这“漂亮英国少年”的钢琴弹奏，很多可以赞美，但是缺少一点个性和感情。可是当他再次听了这个学生的弹奏后，赞赏的意思就不再保留了：“我愿意愉快的告诉你，普维克弹奏得颇为出色，自然、温暖、坚强、且富有感情，一句话，实在是无美不备。”他又总结道：“人们不能希望世间有更高的造诣了。你可以相信，你的许多朋友对于他的赞赏，不是过誉的。”伦敦后来对于勃拉姆斯的认识和赞赏，大多是普维克的功劳，这个学生成了钢琴家，他在英国将勃拉姆斯作了尽力宣扬和介绍。
这是1895年的事。那年2月，舒曼夫人克拉拉病了，精神不振，引起了勃拉姆斯的恐慌，她的信只是短短的便条了。勃拉姆斯连忙写信问候，要她好好保养。4月，克拉拉似乎好了一些，然而总觉乏力。眼见得克拉拉的康复，还抱着一些希望，“不过在人心的深处”，勃拉姆斯写道：“仿佛有物在窃窃私语着，在鼓荡着。……你们恐怕是不会弹奏它们的……但我请求你们把这些放在一边，把它当作纪念你的慈亲的灵前的贡献。”他不得不回想当年的事：他以孤独无名的少年，离开了汉堡的家乡，漂流江湖，求名于四方，突然因舒曼的重视，名声才得蒸蒸日上。此情此景，勃拉姆斯永远不能遗忘。现在，他想起他的知己均已逝世，开始惆怅、悲伤起来。舒曼夫人克拉拉曾是他一生最忠实的友人，也是他的最明智的指导者，这一病怎不叫他思绪万千？
1896年正是勃拉姆斯63岁的时候，他还在度假，得到有关克拉拉的病情报告，知道她将不久于人世，更是心慌意乱。5月7日，克拉拉的孙子告诉她，那天是勃拉姆斯的生日，她便勉强起来写了短短的祝贺词。3天后，她的病又突发，5月20日竟溘然长逝。一代才女，名声传播全欧乃至后来传到全世界。她辅助丈夫舒曼，给音乐宝典注入了许多无价精髓，建立了不朽功勋。他又能以礼自持，维护舒曼家事到终年，死时75岁。当时，勃拉姆斯在离维也纳大约两百公里的伊苏尔，克拉拉去世的电报转到他手中时已是两天前的事了。这一消息使勃拉姆斯极度悲痛。为了赶回参加葬礼，他手忙脚乱，顾不上打点行装，只带上“四首严肃的歌”的歌曲原稿，就急忙赶到车站，结果在匆忙中他竟乘上相反的火车。当他发觉方向不对以后，才改成去法兰克福的火车，旅行了两天两夜总算赶到地点。他颤颤巍巍地走到克拉拉的墓旁，在圣洁的遗体上撒下一把泥土，拿出那“四首严肃的歌”哭泣着。这是他为迎接克拉拉最后的生日而完成的作品，遗憾的是克拉拉去世的23天前的生日中却没有听到它。
克拉拉的遗体被葬在风景如画的莱茵河畔的波恩，埋在丈夫的墓旁。