南朝宋、齐时,天子戴白纱帽,百姓戴杂色纱帽。隋唐时,天子百官士遮都戴乌纱帽。明代始把纱帽定为文武官员的礼帽。明太祖朱元璋洪武三年(1370年),规定官员上朝和办公的制服是戴乌纱帽,穿团领衫,束腰带。有功名但未授官的状元、进士和“致仕”的官员,也可戴乌纱帽,因而乌纱帽变成了专门的官帽。“丢掉乌纱帽”就意味着削职为民了。