元朝的行政机构是同中央集权制相适应的。秦汉以来，中国就是一个统一的、中央集权的封建制国家。秦汉以后的历代封建王朝，行政机构的设置基本上继承了秦汉的制度，但都有一些改革和发展。元代的行省制度就是秦汉以来中央集权制度的一个重大发展。
忽必烈即位前，蒙古政权的行政机构很不完善，还属于“草创之初，未暇为经久之规”。忽必烈即位后，采用汉族地主知识分子的建议，考求前代的典章制度，行政机构开始按照汉族封建国家机器的规格，逐步完善起来。
元朝中央一级的行政机构，主要由总政务的中书省、掌兵权的枢密院和管监察的御史台所组成。中书省始建于太宗窝阔台时，宪宗蒙哥时废。忽必烈即位后，根据刘秉忠等人的建议重建，设有右丞相、左丞相、平章政事、右丞、左丞、参知政事等，并以太子为中书令，作为中书省的首脑。蒙古人尚右，故右丞相、右丞分别高于左丞相、左丞。中书令至参知政事都称为丞相。中书省之下设吏、户、礼、兵、刑、工六部。枢密院主要由院使、知院、同知等掌管。御史台的最高长官为御史大夫。此外，还有大司农掌管农桑水利，翰林兼国史院掌制诰文书、修国史，集贤院掌管学校、征集人才，宣政院掌宗教、吐蕃事务，宣徽院掌诸王供应，太史院掌天文、历法，操作院掌工艺，通政院掌驿传。这些都是中央的专门机构。
元朝把我国各地划为若干行省，建立了行省制度。“行省”的名称，金朝就开始使用了。元朝的统一全国过程中，随着统治区域的扩大，设立了不少行中书省，以代表中书省在地方上行使职权。1287年，忽必烈在全国范围内设行中书省，作为地方一级的行政机构。行中书省的权力是很大的，它统辖路、府、州、县的政务、钱粮、兵甲、屯种、漕运、军事等等。行省的最高长官一般是平章政事。另设有右左丞、参知政事等。这样，就做到了“都省握天下之机，十省份天下之治”，中央和地方政体合一，行政机构有机地结合在一起。
元朝的疆域十分辽阔，所谓“北逾阴山，西极流沙，东尽辽左，南越海表。”因此10个行省中就有4个行省涉及到边远地区。例如岭北行省的治所设在和林，称和宁路，管辖范围除了蒙古高原外，北边一直到北冰洋；东北地区主要由辽阳行省管辖，设开元路，管辖黑龙江中游，设水达打路，管辖黑龙江下游和乌苏里江流域，又在黑龙江口奴儿干地方设征东元帅府，管理包括库页岛在内的广大地区。元朝又在澎湖设巡检司，管辖澎湖、台湾，所以，行省制度使这些地区和中原地区的联系进一步加强了，中央对这些地方的管辖无异于内地。
为了加强行省与行省之间、行省与中央之间的联系，加强国内的交通，元朝政府在全国普遍设立了驿站，与驿站相辅而行的有急递铺，每10里、15里或20里设以急递铺。因此，中央的文书或地方的公文，可以很快传递。驿站制度大加强了中央对地方的控制和指挥。
元代以后，“行省”这个名称一直沿用下来。元代的行省划分，也初步奠定了今天中国的省规模。