与前面的朝代相比，元代在地方上的最高一级行政区划有所不同，采用的是中书省、行中书省统辖制度。元代的这一制度是从金朝那里承袭而来的。如果我们探究行省的起源，可以一直追溯到魏晋南北朝时期。中国古代王宫禁地称“省”，即省中。魏晋时期，在中央设中书、尚书、门下三省，协助皇帝处理日常政务，省开始成为官署名称。如果遇到地方上有事情，中央政府便会派某些官员前去处理，组成行台省。我们在前文中已经提到过，在三国时期，司马昭讨伐诸葛诞，开始设立行台自随。但这时的行台只是临时的中央行动机构，事情办完之后便被撤销。也正是由于这种缘故，行台省在这时还没有一定的辖区。
到了北魏、北齐时期，因为当时州郡的设立过多，中央政府统治起来十分不便。为了改变这种情况，加强对地方的控制，便设置行台省，统辖一定数量的州，这样行台的辖区也就形成了，实际上成为了州、郡、县以上的一级行政区划。从隋朝到唐初，一直存在着行台制度，到了唐太宗贞观年间，行台才被相继裁撤。
金朝时期，行台制度得到了广泛的运用。本来金朝占据了北宋的疆土之后，继承了宋朝分路的体制，只不过是将路的区域划得更小了一些。但是由于金朝初期都城设在会宁，距离中原地区过于遥远，对这一区域控制十分不便，于是在天会十五年（1237），金熙宗完颜废掉刘豫齐国政权后，便在齐国故地开封设立了行台尚书省。后来为了应付南宋与西夏的军事行动，也曾暂时设置过不少行台尚书省。到了金代后期，特别是蒙金战争爆发后，金朝军队接连失败，路的长官已无法应付一方的事务，为了处理地方的军政，金中央政府便派宰臣到各路“行尚书省事”，开府置府，统领一路或数路的区域，这些机构当时叫作“行尚书省”，简称“行省”。这些行省在当时仍然还是尚书省的派出机构，代表尚书省行使权力，带有临时性质，事情处理完毕后便被撤销掉。
蒙元在征服中原的过程中，沿用了金朝这一作为战时的一种临时措施。元世祖忽必烈以中书省总理全国政务，以行中书省（有时是行尚书省）作为管辖新征服地区的行政机构，久而久之，这个机构所管理的地域范围也便与行中书省的名称相称，简称行省或省。同时，作为中央政权机构的中书省本身也直辖包括首都在内的一大片地区。
元代的中书省又称都省，号为腹里。设有右、左丞相各一名（蒙古尚右），名义上的最高长官中书令空缺，而以丞相作为实际长官。另设有平章政事，是丞相的副手。左司、右司为中书省的办事机构，每司各设有郎中、员外郎、都事等官。
地方最高行政区划行中书省的全称是××等处行中书省，简称××行省，或只称××省。各行省设置的官员一般有平章政事二员，总揽一省军事、民政、财政等三方面的大权。另有右丞、左丞各一员，参知政事二员（甘肃、岭北二行省各减一员），个别地大事繁多的行省，有时还设丞相一职。左司、右司合并为一，也设有郎中、员外郎、都事等官职，但是品秩都比中书省相同名称的官员低一等。
另外，为了防止地方割据的情况发生，元朝还立了御史台，在各行省设置22个肃政廉访司，用来监督各省内的官民，检举他们的犯罪行为，掌管司法工作。
元朝创设的行省制度，是自秦汉以来中央集权制度的一个重大发展，也是我国历史上地方行政区划的一次重大改革。这一制度的确立，不仅加强了元朝的中央集权统治，巩固了多民族国家的统一，而且对明、清以及后来地方行政区划产生了很大的影响。元代以后，“行省”这个名称一直沿用下来。明代虽然改行省为布政司，但在当时的口语中仍如此称呼。另外，元代的行省划分，也初步奠定了今天我国的省区规模。