在戏剧舞台上，凡是当官的，总要戴一顶“乌纱帽”。其由来是这样的：“乌纱帽”也叫纱帽，其前身是古代男子裹头发用的幞头。北宋初年，有人将幞头改装为一种纱帽，皇帝对此大加称赞，因此便规定朝中官员都要戴这种纱帽，有时皇帝也会佩戴。这种纱帽两旁各有一根细长翅，由于翅有一尺多长，所以走起路来便会上下颤动。为了保护帽翅以免碰掉帽子，官员们都养成了小心翼翼走路的习惯。对此史书上有例证，据说宰相寇准某次微服私访，路遇一老翁，与其攀谈时老翁对他跪拜迎送，十分恭敬。寇准很奇怪，便问道：“老人家，我不是朝中大臣，你为何对我如此客气？”老翁笑道：“大人休要再瞒我了，刚才你从狭巷过，左看右看生怕碰你的头颈，说明你是戴惯纱帽的。如今你虽没穿朝服，但我还是能看出你的身份来的。”寇准面有惭色，以后便减少了私访次数。
到了明朝，官员们仍沿袭宋制戴纱帽，但皇帝已不再戴了。从明世宗时开始，人们将纱帽称之为“乌纱帽”，同时其双翅也做了一些变动：不但翅的长度缩短了，而且其宽窄也不相同；官阶越大，纱帽的双翅越窄，反之亦然。其形状和后世戏台上的乌纱帽基本一样。
清初顺治帝入关时，由于收留了许多明代降臣，而且为了笼络人心，允许不少地方官员仍穿明代朝服，戴明代乌纱帽。等到清室统治巩固，才下令将官员戴的乌纱帽改变为红缨帽。但人们仍习惯使用“乌纱帽”一词，久而久之，“乌纱帽”便成为官位的别称了。时至今日，我们仍将罢官现象称为“丢了乌纱帽”。