考古工作者在浙江余姚县河姆渡遗址发掘出一些用鸟禽肢骨制作的笛子，距今约7000年。这些笛子虽然制作得粗拙、简陋，但有的还可发出简单的音调，这就是远古人使用的吹奏乐器———骨笛。
从原始时代到夏商时期，我国的乐器主要是打击乐器和吹奏乐器两类，如土鼓、磬、缶、钟、骨哨等，都是用天然材料所制成。到了商代，出现了很多用青铜制作的乐器，在性能和工艺上已远远高于原始乐器。
西周时期，乐器的种类增多，仅见于古籍中记载的就有70多种，如编钟、编磬、箫、笙等。弹弦乐器也在这时出现，但较为简单，发音单调。到了春秋战国，出现了弹拨乐器筝，吹奏乐器竽等，这一时期的编钟在研制、性能方面也都是此前的编钟所无法比拟的。在湖北随县出土的曾侯乙编钟，共8组65件，总重量达2500多公斤，音阶准确，音域宽广，音色优美。每只编钟可发出相距三度的两个音，总音域达五个八度，其精湛的工艺水平深为现代人所惊叹。
秦汉时期，出现了排箫、羌笛、笳、箜篌、琵琶等。到了隋唐，乐器的品种愈加增多，据唐段安节的《乐府杂录》载，共有3000余种。拉弦乐器在此时也开始出现，如奚琴，这种琴有两条弦，用竹片在两弦间摩擦发音，这估计就是胡琴的前身。
宋代的乐器有着自身的特点，一是产生了多种多样的吹奏乐器，二是拉弦乐器开始得到重视，如马尾琴已经得到广泛的运用。元、明、清以后的乐器更加多样，性能也更为完备，特别是西洋乐器的传入，又为我国乐器的发展注入了新的血液，使我国古代乐器呈现出更加多姿多彩的面貌。