乌纱帽起源于宋代。当时有人将男子裹头用的幞头改制成一种纱帽，很得皇帝赏识。于是，皇帝便规定朝中官员都要戴这种帽子，连皇帝自己也不例外。
这种帽子两侧各有一根细长翅，两根帽翅都有30多厘米长，走起路来上下颤动，为了使帽翅免于抖落，官员们走路都小心翼翼。
到了明朝，官员们仍戴这种纱帽，但皇帝已经不戴了。在明世宗时，人们开始将纱帽称为乌纱帽。同时，把帽翅的长度缩短了，而且其宽窄也不相同，官阶越高，乌纱帽的帽翅越窄，反之则帽翅越宽。
清朝立国后，将官员头上的乌纱帽改为红缨帽。但人们仍习惯称之为“乌纱帽”，乌纱帽成了官职的代称。