“太学”之名，早已出现于儒家经籍所描述的西周教育制度中。汉代太学的建立，以前124年汉武帝置博士弟子员为标志。博士即太学教师，博士弟子即太学生。最初博士弟子只有50人，各自随师专经学习。以后弟子名额成倍增加。汉成帝时效仿孔子弟子三千之制，也将博士弟子定员为3000人。东汉太学生人数继续增加，最多时达3万余人。太学有博士舍、内外讲堂、学生住宅区，还有商业区印治安管理机构，堪称当时全世界规模空前的高等学府。东汉大多数皇帝均曾亲临太学视学，召集师生讲论经术，观看太学的礼仪活动，并赏赐师生以资勉动。皇帝视学的传统为历代王朝所继承。
太学生的来源最初有两种：一是由太常直接挑选“年十八以上，仪状端正者”，二是门地方举荐“好文学、敬长上、肃政教、顺乡里、出入不悖所闻者”，其对象为民间子弟。西汉末年以后才要求官僚贵族子弟入太学受业，但这些人自幼养尊处优，又以通过特权赋予的“荫子”途径作官，对入学学习多缺乏热情。而民间子弟入太学，既可以免除徭役赋税，而且还能以此作为进身之阶，学习的积极性很高。太学虽不收学费，但生活费用仍需自理，一些家境贫寒的学生，不得不靠劳动谋生来维持学业。例如翟方进靠母亲随其赴京，编织草鞋提供生活费用；倪宽承担给同学作饭的事务，自己也得以果肠；匡衡、桓荣等人则在课余时间受人雇佣，靠打工维持生计。
太学学生多而教师少，不可能逐一照顾周全，除定期指导、讲授和举行集会活动外，平时主要由学生自修、自习。太学没有限定的学习期限，学业完成的标志就是被选拔作官。因此太学的主要管理措施就是考试。最初是每年考试一次，通一经以上者即可作官。后因学生人数猛增而官位有限，考试改为甲乙丙三科：“甲科四十人为郎中，乙科二十人为太子舍人、丙科四十人补文学掌故。”在限定的录用名额内择优选拔。东汉时改为两年考试一次，要求通二经以上，按名次高低补充官员缺额。未考中者可留校继续进修，以待下次再报考。由于补官越来越难，滞留太学的人也越来越多。“结童入学，白首空归”者不乏其人。为安抚久困太学者的怨愤情绪，朝廷数次为60岁以上的太学生举行特别考试，凡合格者即赏给一个官衔，以此来诱导士人毕生埋头于经籍的学习中，起到控制知识分子的作用。