秦汉统率卫士守卫宫禁之官，隋以后改掌军器、仪仗等事。秦已有此官，始皇时有卫尉竭。汉景帝时一度改名中大夫令，后又恢复旧名。新莽时改为大卫，东汉时仍称卫尉。
西汉时护卫宫殿者有郎卫和兵卫。光禄勋率郎官为郎卫，卫尉率卫士为兵卫。西汉时卫尉所部称南军。宫内设庐舍以驻扎卫士，卫士昼夜巡警，检察门籍。卫尉主宫门和宫内，与主宫外的中尉相为表里。西汉时皇帝居未央宫，守护未央宫是卫尉的职责，故有时也称未央卫尉。皇后所居为长乐宫，设长乐卫尉。武帝时李广为未央卫尉，程不识为长乐卫尉。长安城外的建章宫，距长安较远的甘泉宫，也曾设有建章、甘泉两卫尉。又设卫将军居诸卫尉之上，如文帝时拜宋昌为卫将军，领南北军；宣帝时张安世为卫将军，掌管两宫卫尉及城门北军兵。卫尉秩为中二千石，其副职为丞，属官有公车司马、卫士、旅贲三令、丞。吏民若向皇帝上书，由公车司马转达。
东汉时无卫将军，也不再每宫皆设卫尉。卫尉下设北宫、南宫卫士令，以分管南北宫，省去旅贲令。东汉初年，汉光武帝刘秀任命他的亲信李通、铫期为卫尉，后来外戚马廖、马光、窦固、梁淑等人都担任过这个职务。
魏晋以后，卫尉职掌渐生变化。从隋代起，改掌军器、仪仗、帐幕之事，与汉制截然不同。南宋并入尚书省工部。元代一度依复卫尉，旋罢。明、清不设。