韦驺精通音律，尤其擅长吹箫，自称为“逸群公子”。他曾参加过科举考试，但名落孙山，以后就再也没考过。朋友们都劝他再考一年，他说：“好男儿志在四方，何必只局限于科举考试呢！”
后来他游历到岳阳。岳阳太守很看重他的才华，便让他在郡里为官，可他只干了几个月就托病辞官了。他的同胞弟弟韦骤，在乘船过洞庭湖时不幸溺死。听到这一噩耗后，韦驺立刻赶到洞庭湖边，望着湖水放声痛哭。哭了一阵之后，他乘船来到湖神庙，想把那座庙烧掉。他说：“那些富有的人可以安安稳稳地乘船而过，我弟弟已那样穷困潦倒，还要遭此横祸，要你这种庙有什么用！”可是，还没等他点火焚烧，就在船上迷迷糊糊地睡着了。睡梦中，他看见一位穿戴整齐的仙人来拜访他，并对他说：“通往幽冥的路上没有被枉杀的人。你父亲在当岳阳城将帅时，刚正廉明，连鬼神都敬畏他，纷纷躲避。可是，他拆毁了众多的淫祠，其中有一二座是不应该拆的。为此，这些庙神都告到天帝那里，要求严惩你的父亲。天帝最初不同意，他们竟一告就是十几年。天帝这才答应将你父亲的一个后人送去，以向各庙的神主道歉。可是这后人必须得是退不能知其道、进无补于时的，所以就选中了你的弟弟。如果没有找到你弟弟的尸体，便是我的过错。我马上就派人去把你弟弟的尸体运来。”
韦驺从梦中醒来，明白了其中的原因，也就放弃了烧庙的念头。他立刻让渔船撒下渔网，一网上来，韦骤的尸体就捞上来了。当晚，他梦见庙神来感谢他说：“鬼神不怕忿怒的人，而畏惧果敢的人，因为果敢的人有诚意。你为人果敢，所以我们都惧怕你。以前，洞庭的音乐都由我负责，但愿以最美妙的音乐来报答你的恩德，并希望你在音乐声中能忘却尘世的烦恼。”说完，韦驺就见金石羽籥等乐器弹奏起来。韦驺感叹这乐声非人间所有，真是上天之乐。音乐结束之后，他才从睡梦中醒来。