春秋战国时，有一个叫做俞伯牙的楚国人，但他在晋国做官。俞伯牙是当时最著名的琴师，他的琴声能够模仿很多种自然界中的声音，并且能表达各种情感。但是，却很少有人能够听懂他的琴音，理解他的琴意。所以，他常常因此而感叹。
有一年，俞伯牙奉晋国国君之命出使楚国。在完成使命以后，俞伯牙乘船逆汉水而上，准备返回晋国。但刚启程不久，就在汉阳遇上了大雨。
由于风雨所阻，俞伯牙不得不命船停泊在岸边等待雨停。俞伯牙命令仆人取出随身携带的七弦琴，看着旁边的高山，听着汉水的涛声，就在船舱中抚起琴来。他弹着弹着，突然，琴弦断了。
按照当时的说法，琴弦断了说明有人在偷听。于是，俞伯牙命仆人下船寻找偷听之人。过了不久，仆人带上来一位樵夫。
这位樵夫告诉俞伯牙，他叫钟子期，生活在汉水边，以砍柴为生，闲暇时喜欢读些诗书。刚才在附近躲雨，被俞伯牙的琴声吸引而来到了船边，并非有意偷听。
俞伯牙听完钟子期的叙述，便问他：“你能听懂其中的寓意吗？”
钟子期答到：“能。”
俞伯牙马上换好琴弦。他鼓琴一曲后，问钟子期：“你听到什么？”
子期赞叹：“啊！多么宏伟！像高山那样巍峨！”
伯牙又鼓琴一曲，子期欣喜地说：“啊！多么浩荡！就像流水那样奔腾不息！”俞伯牙立即走到钟子期面前，一揖到地，激动地说：“我今天终于找到知音了！”
两人畅谈了一宿，情投意合，甚是投机。但是，第二天一早已是雨过天晴，俞伯牙必须回去复命了。两人分别时约定，明年此时此刻还在这里相会。
第二年，俞伯牙如期赴会，却久等子期不到。于是，俞伯牙就顺着上次钟子期回家的路去寻找。
半路上，他遇到一位老人，便向这位老人打听钟子期的家。原来，这位老人正是钟子期的父亲。老人告诉俞伯牙，钟子期又要砍柴又要读书，再加上家境贫寒，积劳成疾，已经在半月前去世了。
子期去世时担心俞伯牙会在这里久等，叮嘱老人一定要在这一天来通知俞伯牙。俞伯牙听到这个消息后悲恸欲绝。他随老人来到钟子期的坟前，弹奏一曲《高山流水》以酬知己。
曲毕，就在钟子期的坟前将琴摔碎，并发誓终生不再抚琴。
对于一个高明的琴师来说，最让他高兴的事莫过于有人真正听懂他的乐曲了。能够欣赏领会音乐的人就被称为“知音”，后来人们常说“高山流水觅知音”，就借用俞伯牙弹奏这首古琴曲的名称表达找到知音的快乐。高山流水觅知音的故事就发生在湖北汉阳古琴台，此台为纪念俞伯牙与钟子期的知音深情而建，又有“伯牙台”之称。俞伯牙与钟子期结为知音的故事，千百年来在文人与民众之间广泛流传，二人知音的传奇色彩，给中国文化增添了可歌可泣的页。