北周开始设置的区域性军事管理机构。魏晋以来，逐渐形成一些军事指挥区域，即都督区。其长官称都督，都督例兼所驻某州的刺史，兼治军民。大区都督常兼管数州，称为“都督诸州军事”。东晋王敦为江州刺史，镇武昌，都督江、扬、荆、襄、交、广六州军事，即以长江中游为中心，直至岭南地区均归其指挥。南北朝承魏晋之制，均有都督之设。如北魏有都督中外军事、都督府州诸军事、都督三州诸军事等。北周明帝武成元年（559），始改都督诸州军事（疑为都督州诸军事）为总管，总管兼任所驻州刺史，并统辖邻近各州。诸州都督府改称总管府。偶有以一般总管身份辖数州总管之例。北周总管府大部分置于武帝时。建德六年（577）北周灭北齐，于北齐旧地增量一批总管府。总管府的设置，或在都会之地，或处守御之要。北周总管府中，洛州、并州、相州最重要。北周武帝平齐后，于相、并两州总管府各置行宫及六府官，即冢宰、司徒、宗伯、司马、司寇、司空府，取代北齐之大行台。后废并州六府。大象元年（579），移相州六府于洛州，称东京六府。河阳、幽、相、豫、兖、青、徐七总管，皆受东京六府统辖。
隋代总管府分上、中、下三等置于诸州。其中统辖数州及至数十州的俗称大总管，如秦王杨俊为并州总管，管二十四州诸军事，后改授汉王杨谅。杨俊转任扬州总管，镇广陵，管四十四州军事。蜀王杨秀为益州总管，管二十四州诸军事。大业元年（605），鉴于汉王杨谅以并州总管起兵，炀帝下诏废除诸州总管。唐初于缘边及襟要地区的一些州治置总管府，领军出征者为行军总管或大总管。武德七年（624）改称都督府，而行军总管及大总管不变。