都督一职起源于东汉，但当时只是一种出于军事需要而设置的临时性官职，并不是常制。到了曹魏时期，由于对吴、蜀两国作战的需要，这一职务已相对固定，并且有了管辖范围，即都督区的雏形，但当时都督还是只管军事，不理民政。到了东晋以后，都督已兼任州的刺史，总揽军民政事，都督区也趋于稳定，成为了州以上的一级准行政区划。
依据东晋与南朝都督区的管辖范围和权限的情况，可以大致分为州之上的都督区与郡之上的都督区两大类。前者是中央政府将全部州级政区比较有计划地分成几个大区域，然后各设都督后而产生的，故区域相对比较稳定。如东晋与南朝时的荆州都督区就属于这种类型的都督区，通常统辖荆、益、宁、雍、梁等五州，有时还会兼统江州或者是交、广二州。后者的设立则带有随意性，并不是把所有的郡全都划入，而只是设置在要地，因此区域具有一定的伸缩性，经常会随形势与所任都督的人选而发生变动。沔中都督区就是这种类型的一个例子，这个都督区由以襄阳为中心的沔中八九个郡组成，统属于荆州都督之下，作为荆州的屏障。
北朝的都督区则远不像东晋与南朝那样发达，北魏太武帝时，才开始采用都督制。献文帝以后，都督的设置虽然逐渐增多起来，但这时的都督区还不是十分稳定，经常变化。西魏末年，都督才成为既管军又管民的地方大员。北周时，改都督诸州军事为总管。总管的权力比都督要大，而且辖区也比都督区稳定。
另外，还需要说明的是，东魏与北齐的都督设置并不显著，而是在州之上设立一种叫“行台”的地方行政机构。三国时期，天下纷争，朝廷的军政大权，常常可以被一人操纵。当这样的一位权臣远离都城时，又往往在他的在外驻地设立“行台”。史书上就记载了这样的一个例子。当时在曹魏执掌大权的司马昭率兵前去讨伐诸葛诞，但他仍想兼理朝中的政务，于是散骑常侍裴秀、尚书仆射陈泰、黄门侍郎钟会等以“行台从”，不过这时的行台只是中央权力的行动机构，与地方行政无关。等到北魏道武帝南下入居中原，在平城（今山西大同）建都，想要用平城控制河北，于是设置邺行台、中山行台，但由于当时主要是临时用来代理中央政府处理对外征讨方面的事情，因此这一镀度不久便废除了。北魏统一北方后，依然实行的是都督制，直到东魏武定年间，行台才又恢复设立。行台原本是尚书行台的简称，意思就是中央尚书台的地方分部，是代表中央权力管理地方的行政机构，在地方上遇到一些事情，行台可以不必上报中央，而就地自行解决。北齐时，随着都督区的逐渐消退，出现了普遍设置行台的现象。这时的行台，一般统州十几个，辖区相对稳定，凡是州刺史以下的官员都在行台的统领之下，兼管军政与民政，俨然已是州、郡、县以上的一级行政区划了。我们可以来看一个当时行台的具体实例。北齐文宣帝时，有一个叫辛术的人做到了东南道行台尚书这样的高官。当时担任东徐州刺史的郭志杀死了一个郡太守，文宣帝听到这个消息后，深觉有必要加强对地方的治理，于是他下命令给辛术，让他在所统领的十几州的区域内，遇到犯法的官员，除去州的刺史要先上报，听从朝廷处理外，以下的官员可以先自行决断，处理之后，再上报中央。后来，辛术所负责的行台区内，果然有官员不法，结果辛术便按照文宣帝所说的，将这些人就地法办了。
隋朝时，也曾为了军事需要而设置行台省。开皇八年（588）隋文帝出兵伐陈时，就曾在寿春（今安徽寿县）设立淮南道行台省，等到陈被隋灭掉之后，这个行台省也就废除了。
唐代初年，行台制度还在实行。高祖李渊灭占据洛阳的王世充时，就曾一度设立过陕东道大行台省。李世民当上皇帝以后，觉得行台权力太大，对中央政权构成很大的威胁，才下令将它废除了。