在古代，太常寺是一直掌管礼乐的最高行政机关，秦时称奉常。
以后虽然名字有变化，但是这个音乐机构一直存在，直到清代才最终随着封建社会成为历史。汉景帝六年，奉常改称太常。汉以后改称太常寺、太常礼乐官等。史书《隋书·百官志》中说：
太常掌管礼乐祭祀，天文术数等，历代大体相同。
太常寺主管官员称“太常卿”，太常卿下属职官与音乐密切相关的为太常博士，协律都尉，太乐署的令、丞，以及汉及以后建置的鼓吹署令、丞，清商署的令或丞等。
与礼乐仪制有关的官员为太常博士，或称“太乐祭酒”、“太乐博士”。兼及乐制和历算的官员，视地位高低称协律都尉、协律中郎将、协律郎、雅乐部、钟律令、钟律郎等。其中的协律都尉、钟律令常常就是太乐令。
太常寺是一个比较大的机构，一般有卿、少卿、丞各一人，博士四人，主簿、协律郎、奉礼郎、太祝各一人。另外还有很多的分支机构。
后来，乐府是专门管理音乐的官府机构，“乐”就是音乐，“府”就是官府，这是它的最初含义。乐府最初始于秦代。根据考古工作者在秦始皇陵附近出土的一只秦代错金甬钟，钟柄上镌有秦代篆书“乐府”两个字，可以作为秦代时乐府存在的佐证。可见，乐府早在秦代就已经设立。
有关资料记载，秦代时的乐府隶属少府，专掌供皇帝享用的世俗舞乐，而太乐则专管宗庙祭祀乐舞。至于秦代时乐府的具体情况已不得而知。
汉承秦制，不过当时没有立即建立乐府，只是提出了建立乐府的想法，直至汉武帝时方得实现。汉代乐府民歌是汉代音乐艺术的汇总，是我国音乐艺术文化的重要组成部分。
汉代初期，为了促进社会生产力的发展，缓和阶级矛盾，采取了与民休息的政策，分发给复员军吏士卒以田宅并免除其徭役，重农抑商，释放奴隶，鼓励人口的增殖。
经过六七十年间休养生息，社会经济好转，国家库府充实，人民生活也稍为安定。在这种情况下，好大喜功的汉武帝一面开疆拓土，向外伸展势力，一面采用儒术，建立种种制度，来巩固他的统治。
汉武帝发动了几次征服匈奴的战争，解除了匈奴对中原的威胁。在征服匈奴战争过程中，西北少数民族的音乐有机会传到中原来，并引起了皇帝和贵族们对新声的浓厚兴趣。
另外，西汉建立后，比较重视封建教化作用。至汉武帝时，接受了儒生董仲舒的建议后，才把乐府建立起来。董仲舒的建议为汉武帝定郊祀之礼于乐府，提供了指导思想和理论基础。
这时，西汉进入了全盛时期，无论从经济方面还是思想方面，都有建立乐府的需要。因此，定郊祀、立乐府就是适应时代要求的必然产物。
根据史书《汉书·礼乐志》记载，公元前112年汉武帝时，设立了在我国历史上有名的音乐机构乐府。它的职能是采集各地歌谣和整理、制订乐谱。
汉代董仲舒尊孔重儒，在教育思想上也承袭了儒家观点。董仲舒认为音乐对人民有很好的教育作用，但他相信天人感应，认为天道可以主宰人事，认为人事与自然界变异有密切关系。董仲舒的天人感应说应用在音乐上，使儒家的音乐思想带有神秘化色彩。
汉代大规模音乐教学活动是在乐府中进行的。汉乐府主要任务是演出、创作、搜集民歌和训练乐工等。因此，乐府具有表演创作、教育、体察民情、保存史料等多功能综合性官府附属机构，也是西汉最重要的音乐教育研究机构。
汉乐府也是西汉乐府最重要的教育研究机构，以西汉乐府领导人、杰出音乐家李延年为代表的千人之多的乐师、乐工，对促进古代我国音乐及音乐教育的发展，做出了突出贡献。
根据汉代学者班固所著的《两都赋·序》说：
大汉初定，日不暇给。至宣武之世，乃崇礼官，考文章。内设金马石渠之署，外兴乐府协律之事。
武帝时代的乐府，据称备员有800多人，并设有令、音监、游檄等各级官吏。乐府的设置，一方面是为了制作宗庙的乐章，以歌功颂德，点缀升平；一方面是为了收集民间歌谣，创作填写歌词和改编、创作曲调，编配乐器，进行演唱及演奏等。
不管当时统治阶级采诗的目的如何，是供娱乐也好，供政治借鉴也好，在客观上它起到了收集和保存民歌的作用，使当时四散于民间仅靠口头流传的许多作品得以集中和记录下来，这在我国古代艺术史上是具有重要意义的。
经过汉武帝时期对乐府大规模扩充，汉乐府在音乐的收集、整理、创新等方面发挥了极其重要的作用。汉武帝又试图通过乐府机构，采集民歌以了解民情，于是，“感于哀乐，缘事而发”的民歌，也纷纷被保留下来。
到了公元前7年，汉哀帝裁撤乐府官，他下诏罢免乐府官，乐府中的郊祭乐和古兵法武乐，经过检验，确实不是郑卫之音，可以放在别的音乐机构进行管理。经过裁减，存在了106年的西汉乐府便至此宣告结束。
汉乐府建立，对我国民间音乐的收集整理以及在促进汉族和各少数民族人民之间文化交流、融合起到了积极的作用。
后来汉乐府虽然被撤销了，但那些被罢免而又在乐府中受过专业训练的民间音乐家，流落到民间去后，无疑对我国各地民间音乐发展与提高起到了一定作用。
总之，汉乐府的任务，除了将文人歌功颂德的诗制成曲谱并制作、演奏新的歌舞外，它不同于后代的一个最大特点，或者说一项最有意义的工作，便是采集民歌。
成立乐府，采集民歌这件事，在文学史上也是有其重要意义的。和周代一样，汉代也是采诗的，当时采诗范围遍及黄河、长江两大流域，比周代还要广。
两汉帝王颇懂得反映人民意向的民歌民谣的作用，他们经常派遣使者采风。这种政治措施，说明当时乐府采诗虽然为了娱乐，但也有作为统治之借鉴的政治意图，也就是所谓观风俗、知薄厚，而在客观上也起了保存民歌的作用，使民歌得以集中、记录、流传。
据史书《汉书·艺文志》所载篇目，西汉乐府民歌有138首，这数字已接近《诗经》的国风，这还不包括东汉。
汉乐府民歌则主要保存在相和、鼓吹和杂曲3类中，相和歌中尤多。在音乐上，这3类也各具特色。
相和是美妙的民间音乐，所谓相和，是一种演唱方式，含有“丝竹更相和”和“人声相和”两种意思；鼓吹曲则是武帝时吸收北方民族的新声，当时主要用作军乐；杂曲只是一种声调失传的杂牌曲子。
在写作年代上，郊庙歌词中的《房中歌》最早，为高祖唐山夫人所作；鼓吹曲辞中的《铙歌十八曲》是西汉作品；相和歌则大部分产生在东汉，其中题为《古辞》的，几乎全是汉代的民间歌谣；杂曲年代最晚，已经出现不少文人的作品，可以看出民歌的影响。
后来，到了魏晋六朝，人们将乐府所唱的诗，和所谓的歌诗，也叫乐府，于是所谓乐府便由机关的名称一变而为一种带有音乐性的诗体的名称。如音乐中骚、赋、诗这一演变的标志。不过六朝人虽然把乐府看成一种诗体，但着眼还在音乐上。
魏晋以后，虽然有一些学者谈到诗教、乐教问题，其中也有一些真知灼见，但无论就其理论深度还是就其对后世影响而言，都不如先秦诸子。
值得一提的是，音乐教育在宗教领域中，找到了自己生存、发展的道路，并发挥着重要的教育职责。宗教音乐机构，为魏晋南北朝时期造就了一大批训练有素的音乐人才。
还有，这一时期在教学方法、教学原则及教学内容的改革方面，都有许多可贵见解，并且积累了丰富教育经验。