单于和可汗是我国古代西、北少数民族首领的专用称呼。唐太宗在命名单于都督府的时候曾说“今之可汗，古之单于也”。可见，单于和可汗意思一致，只是使用年代有别而已。
战国至秦汉时期的匈奴族，其首领称为“单于”。“单于”一词，本是“撑梨孤涂单于”的简称，在匈奴语中，“撑梨”是天，“孤涂”是子，“单于”是“广大”的意思。匈奴自头曼单于之后，历代匈奴君主皆用“单于”这个称号，一直到匈奴灭亡时止。而东汉三国之际，有乌丸、鲜卑的部落使用单于这个称号，至两晋十六国，皆改称为大单于，但其地位已不如以前。
在中国历史上还出现过绝无仅有的一位汉人大单于，即公元350年（东晋永和六年，冉魏永兴元年）时，冉魏主冉闵封其子冉胤为大单于。其封职的背景是冉魏屠杀羯人引起非议，冉闵改行招抚政策，立大单于以统率降胡。
北魏兴起后北方胡族政权相继衰落，大单于的称号也逐渐受人冷落。而北方新起的、更为原始的游牧民族柔然，其首领社仑于公元402年自号豆代可汗。自此，“可汗”成为少数民族首领的代称。鲜卑语称“可寒”，意为“上天”、“神灵”的意思。
此后，可汗之号风行漠南漠北甚至传播到欧亚各地，直至清代，蒙古准格尔部首领，以及从伏尔加流域还牧伊犁的土尔扈特部首领，还都保留着可汗的称号。
值得注意的是，唐太宗征服西突厥后，西域各国为了表示服从唐朝中央政权的统一领导，还称唐太宗为“天可汗”。