诗经曰：“钟鼓。”《史记》记秦始皇仿建六国宫殿，“钟鼓美人充之”，可见钟鼓早就是重要的乐器。
钟楼和鼓楼是我国古代在城市、宫殿、寺院中用作报时和显示威仪的建筑。汉唐时期城市实行里坊制，规定宵禁，晨昏都要击鼓为启闭坊门的信号。北宋以后，里坊制取消，却保留了钟鼓报时的习俗。在元大都、明南京和明清北京及许多地方城市的显著位置都建有高大的钟楼和鼓楼。采用“楼”的形制，是因为可利用其下层为共鸣腔，使声音悠扬远播；而且钟、鼓楼以其突出的体形体高为城市主要街道的对景和周围地区的构图中心，对城市景观起着非常重要的作用，其附近往往形成繁华的商业区。现存建于明代的西安钟楼便处在城市中心点上。北京现存的钟、鼓楼处在全城中轴线北端，初建于明永乐年间。
佛教寺院在唐以前设有钟楼和经楼，对称地放在寺院前部或后部，宋代以后又引入鼓楼，东钟西鼓，多放在寺院前部，藏经楼则被安排到了全寺最后面。钟和鼓在寺院不仅用于报时，也具有宗教宣传作用，《增一阿含经》说：“洪钟震响觉群生”，“昼夜闻钟开觉悟”。清钟夜响，发人思绪，无怪唐代诗人张继写下“姑苏城外寒山寺，夜半钟声到客船”的佳句，使得苏州寒山寺一举闻名。清光绪年间重修寒山寺，在大殿后左廊建钟楼，内藏清铸大钟，至今每逢除夕午夜，不少中外游人还要专程到寒山寺听钟。
有关“鼓楼”的来历，有人认为是北魏李崇所创，初用以传递信号，便于擒贼缉盗。据民国十九年《重修滑县志》记载：“北魏时，兖州多盗。李崇为刺史，乃村置一楼，盗发之处，双槌乱击。四面诸村始闻者，挝鼓一通，次复闻者，以二为节次。后闻者以三为节次，各击鼓千槌。诸村闻鼓，皆守要路。是以俄顷之间，声布百里之内。其中险要，悉有伏人，盗窃始发，便尔擒送。诸州置楼悬鼓，自崇始也。宋，薛季宣令武昌亦乡置一楼，盗发伐鼓，瞬息遍百里。盖世多盗，弥道之法，莫良乎此。故后世效之，州县多置鼓楼。”