根据古书记录，荷马的史诗《伊利亚特》和《奥德赛》，中国古时候尧舜时代的“韶乐”，都是非常动人的。据说，在演奏韶乐的时候，很多野兽也会随着音乐而舞蹈，但我们已经没有办法听到它们美好的音乐了。为什么呢？因为当时没有记录音乐的乐谱。为了把流动的、看不见的音乐记录下来，在历史发展的漫长岁月里，人们创造了各种各样的记谱法，如简谱、五线谱等。荷马像那么，简谱是谁发明的呢？它是300多年前，法国巴黎的一个名叫苏埃蒂的修道士发明的。苏埃蒂的工作是在教堂里专门教教徒们唱歌。当时在宗教非常流行的欧洲，每逢星期天，教徒们从四面八方赶来，在教堂里作礼拜，他们唱起赞美“上帝”的歌曲。由于当时没有歌谱，修道士只能弹起笨重的管风琴作伴奏，教唱一句，教徒们学唱一句。这种学歌方法又慢又费力，学会一首歌要花很长的时间。有的歌比较复杂，要唱准、唱好就更加困难了。于是，苏埃蒂开始考虑用一种符号来记录歌曲的音高、表示声音的长短。经过反复研究，他终于创立了一种数字简谱，，用1、2、3、4、5、6、7一个阿拉伯数字来表示音阶中do、re、mi、fa、sol、la、si七个音，并于1665年写了一本《学习唱歌和音乐的新方法》。过了77年，法国思想家、哲学家卢梭在这一基础上加以改进，于1742年8月22日在法国科学院讲台上宣读了关于音乐记谱法的论文，支持苏埃蒂的数字简谱，使这种记谱方法得到了肯定。后来，经过数学教师加兰、律师巴里等人进一步改进，这种记谱法逐步完善，成了今天我们使用的简谱。但由于简谱不便于记录多声部及变化复杂的音乐，因而在欧洲各国几乎没有被普遍使用过。
简谱先从法国流传到欧洲和美国，再从美国传到日本。大约在清朝末年，从日本传到我国。
日本在19世纪曾一度在学校中通用简谱，因而当时在日本留学的中国人编写的学堂乐歌大都用简谱。1902年出版的沈心工先生编的《学校唱歌法》风行一时，客观上起了在中国推行简谱的作用。目前在全世界只有少数几个国家还使用简谱。