关于“木鱼”之名，最早见于唐代高僧怀海禅师所撰的《敕修清规》之中：“木鱼，相传云，鱼昼夜常醒，刻木像形击之，所以警昏情也。”据此，木鱼当为佛门僧侣所创制，有警示僧众昼夜不忘修行之意。此前，相传木鱼的前身乃是一种称为“木扑”的简单木块，后才刻为鱼像，称作木鱼。
僧众中流传着这样一个说：汉朝时期，皇帝派慈光大师和两个僧徒去西天取经，他们历尽千辛万苦，在取经归途中，乘船渡海之时，突然风浪大作，一条恶鱼张着大口朝船扑来，船头上的经书被大鱼一口吞掉，两僧徒跃身入海与大鱼搏斗，了结了大鱼性命并将它拖上船头。刹时间，风平浪静，阳光灿烂，大鱼身躯化为污水流入大海，只剩下鱼头摆在船头上。慈光师徒带着大鱼头返回佛寺，为了讨还经卷，每天敲打大鱼头，口念“阿弥陀佛瑴瑴”。日复一日，大鱼头被敲得粉碎，后来他们只好照着大鱼头的模样做了个木头的，天天敲打。就这样，敲木鱼诵经成了佛家的习惯。