由于历史包袱的遗留，皇权的逐步提高，隋唐以来的官僚机构，以巩固皇权为目的的三省制度——中书省出命令，门下省掌封驳，尚书省主施行——中书官和皇帝最亲近，接触机会最多，权也最重。宋代后期，门下省不能执行审核诏令的任务，尚书省官只能平决庶务，不能参与国政，三省事实上只是一省当权。到元代索性取消门下省，把尚书省的官属六部也归并到中书，成为一省执政的局面。地方则分设行中书省，总揽军民大政。其下有路、府、州、县，管理军民。
三省制的形成有它的历史背景和原因，就这制度本身而论，把政权分作三份，一个专管决策，一个负责执行，而又另有一个纠核的机构，驳正违误，防止皇权的滥用和官僚的缺失，从对巩固皇权，维持现状的意义上说，是很有用的。可是，事实上，官僚政治本身破坏并导致了这个官僚机构的瘫痪，皇权和相权的冲突，更有目的地摧毁了这个官僚机构。
官僚政治特征之一是做官不做事，重床叠屋，衙门愈多，事情愈办不好，拿薪水的官僚愈多，负责做事的人愈少。例如从唐以来，往往因事设官：尚书都省原有户部，专管户口财政，在国计困难时，政府要张罗财帛，供应军需，大张旗鼓，特设监铁使、户部使、租庸使、国计使等官，由宰相或大臣兼任，意思是要提高搜刮的效率，可是这样一来，户部位低权轻，耿守都为诸使所夺，便变成闲曹了。兵部专管军政，从五代设了枢密使以后，兵部又无事可做了。礼部专掌礼仪，宋代却又另有礼院。几套性质相同的衙门，新创的抢了旧衙门的职司，本衙门的官照例做和本衙门不相干的事，或者索性不做事。千头万绪，名实不符，十个官僚有九个不知道自己的职司。冗官日多，要官更多，行政效率也就日益低落。到元代又添上蒙古的部族政治机构，衙门越发多，越发庞大，混乱复杂，臃肿不灵，瘫痪的病象日益显露。
而且就官僚的服务名义说，也有官、职、差遣之分。官是表明等级、分别薪傣的标识，职以待文学侍从之臣，只有差遣是“治内外之事”的，皇家的赏功酬庸，又有阶、勋、爵、食邑、功臣号等名目。以差遣而论，又有行、守、试、判、知、权知、权发遣的不同，其实除差遣以外，其他都是不大相干的。
皇权和相权的矛盾：例如宋太宗讨厌中书的政权太重，分中书吏房置审官院，刑房置审刑院。为了分权而添置衙门，其实是夺相权归之于皇帝。皇帝的诏令照规矩是必须经过中书门下，才算合法，所谓“不经风阁鸾台，何谓之敕”？用意是防止皇权的滥用。但是，这规矩只是官僚集团的规矩，官僚的任免生杀之权在皇帝，兴衰荣辱甚至诛废的利害超过了制度的坚持，私人的利害超过了集团的利害。唐武后以来的墨敕斜封（手令），也就破坏了这个官僚制度，摧毁了相权，走上了独裁的道路。
朱元璋继承历代皇权走向独裁的趋势，对官僚机构大加改革，使之更得心应手地为皇家服务。
元代的行中书省是从中书省分出去的，职权太重，到后期鞭长莫及，几乎没法控制了。朱元璋要造成绝对的中央集权，洪武九年（公元1376年）改行中书省为承宣布政使司，设左右布政使各一人，掌一区的政令。布政使是朝廷派驻地方的代表、使臣，禀承朝廷，宣扬政令。全国分浙汀、汀西、福建、北平、广西、四川、山东、广东、河南、陕西、湖广、山西十二布政使司，十五年增置云南布政使司。布政使司的分区，大体上继承元朝的行省，布政使的职权却只掌民政财政，和元朝行中书省的无所不统，轻重不大相同了。而且就地位论，行省是以都省的机构分设于地方，布政使则是朝廷派驻的使臣，前者是中央分权，后者是集于中央，意义也完全不同。此外，地方掌管司法行政的另有提刑按察使司，长官为按察使，主管一区刑名按察之事。布、按二司和掌军政的都指挥使司合称三司，是朝廷派遣到地方的三个特派员衙门，民政、司法、军政三种治权分别独立，直接由朝廷指挥，为的是便于控制，便于统治。布政司之下，真正的地方政府分两级，第一级是府，长官为知府；有直隶州，即直隶于布政使司的州，长官是知州。第二级是县，长官是知县；有州，长官是知州。州县是直接临民的政治单位。
中央统治机构的改革，稍晚于地方。洪武十三年（公元1380年）胡惟庸案发后，废中书省，仿周官9即之制，提高六部地位；吏、户、礼、兵、刑、工每部设尚书一人，侍郎（分左右）二人。吏部掌全国官吏选授、封勋、考课，甄别人才。户部掌户口、田赋、商税。礼部掌礼仪、祭祀、僧道、宴饷、教育及贡举（考试）和外交。兵部掌卫所官军选授、检练和军令。刑部掌刑名。工部掌工程造作（武器、货币等）、水利、交通。都直接对皇帝负责，奉行政令。
统军机关则改枢密院为大都督府，节制中外诸军。洪武十三年分大都督府为中、左、右、前、后五军都督府，每府以左有都督为长官，各领所属都司卫所，和兵部互相表里。都督府长官虽管军籍军政，却不直接统带军队，在有战事时，才奉令出为将军总兵官，指挥作战。战争结束，便得交还将印，回原职办事。
监察机关原来是御史台，洪武十五年改为都察院，长官是左右都御史，下有监察御史110人，分掌十二道（按照布政使司政区分道）。职权是纠劾百司，辨明冤枉，凡大臣奸邪，小人构党作威福乱政，百官猥茸贪污舞弊，学术不正，和变乱祖宗制度的，都可随时举发弹劾。这卫门的官被皇帝看做是耳目，替皇帝听，替皇帝看，有对皇权不利的随时报告。也被皇帝看做是鹰犬，替皇帝追踪、搏击一切不忠于皇帝的官民，足替皇帝监视官僚的卫门，是替皇帝检举反动思想，保持传统纲纪的衙门。监察御史在朝监视各个不同的官僚机构，派到地方的，有巡按、清军、提督学校、巡监、茶马、监军等职务，其中巡按御史算是代皇帝巡狩，按临所部，大事奏裁，小事立断，是最威武的一个差使。
行政、军事、监察三种治权分别独立，由皇帝亲身总其成。官吏内外互用，其地位以品级规定。从九品到正一品，九品十八级，官和品一致，升迁调用都有一定的法度。百官分治，个别对皇帝负责，系统分明，职权清楚，法令详细，组织严紧。而在整套统治机构中，互相钳制，以监察官来监视一切臣僚，以特务组织来镇压威制一切官民。都督府管军不管民，入部管民不管军。大将在平时不指挥军队，动员复员之权属于兵部，供给粮秣的是户部，供给武器的是工部，决定战略的是皇帝。六部分别负责，决定政策的是皇帝。在过去，政事由三省分别处理，取决于皇帝，皇帝是帝国的首领。在这新统治机构下，六部府院直接隶属于皇帝。皇帝不但是帝国的首领，而且是这统治机构的负责人和执行人：历史上的君权和相权到此合一了，皇帝兼理宰相的职务，皇权由之达到巅峰。
历史的教训使朱元璋深切地明白宦官和外戚对于政治的祸害。他以为汉朝、唐朝的祸乱都是宦官作的孽。这种人在宫廷里是少不了的，只能做奴隶使唤，洒扫奔走，人数不可过多，也不可用做耳目心腹；做耳目，耳目坏，做心腹，心腹病。对付的办法，要使之守法，守法自然不会做坏事；不要让他们有功劳，一有功劳就难于管束了。立下规矩，凡是内臣都不许读书识字。又铸铁牌立在宫门，上面刻着：“内臣不得干预政事，违者斩。”又规定内臣不许兼外朝的文武官衔，不许穿外朝官员的服装；做内廷官不能过四品，每月领一石米，穿衣吃饭官家管。并且，外朝各衙门不许和内官监有公文往来。这几条规定针对着历史上所曾发生的弊端，使内侍名副其实地做宫廷的仆役。对外戚干政的对策，是不许后妃干政，洪武元年三月即命儒臣修女诫，纂集古代贤德妇女和后妃的故事，刊刻成书，来教育宫人，要她们学样。又立下规程，皇后只能管宫中嫔妃的事，宫门之外不得干预。宫人不许和外间通信，犯者处死，以断绝外朝和内廷的来往以至通信，使之和政治隔离。外朝臣僚命妇按例于每月初一、十五朝见皇后，其他时间，没有特殊缘由，不许进宫。皇帝不接见外朝命妇，皇族婚姻选配良家子女，有私进女口的不许接受。元璋的母族和妻族都绝后，没有外家，后代帝王也都遵守祖训，后妃必选自民家。外戚只是高爵厚禄，做大地主，住大房子，绝对不许干预政事。在洪武一朝三十多年中，内臣小心守法，宫廷和外朝隔绝，和前代相比，算是家法最严的了。
其次，元代以吏治国，法令极繁冗，档案堆成山，吏就从中舞弊，无法根究。而且，正因为公文条例过于琐细，不费一两年工夫，无从通晓，办公文、办公事成为专门技术，掌印正官弄不清楚，只好由吏做主张，结果治国治民的都是吏，不是官。小吏们唯利是图，毫不顾及全盘局面，政治（其实是吏治）自然愈闹愈坏。远在吴元年，朱元璋便已注意到法令和吏治的关系，指令台省官立法要简要严，选用深通法律的学者编定律令。经过缜密的商订，去繁减重，花了30年工夫，更改删定了四五次，编成《大明律》，条例简于唐朝，精神严于宋律，是中国法律史上极重要的一部法典。又为简化公文起见，于洪武十二年立案牍减繁式颁示各衙门，使公文明白好懂，文吏无法舞弊弄权。从此吏员在政治上被斥为杂流，不能做官。官和吏完全分开，官主行政，吏主事务，和元代的情形完全不同了。
和上述相关的是文章的格式。唐宋以来的政府文字，从上而下的制诰，从下达上的表奏，照习惯是骈骊四六文。尽管有多少人主张复古，提倡改革，所谓古文运动，在民间是成功了，政府却仍然用老套头。同一时代用的是两种文字，庙堂是骈偶文，民间是古文。朱元璋很不以为然，以为古人作文章，讲道理，说世务，经典上的话，都明白好懂，像诸葛亮的出师表，又何尝雕琢、立意写文章？可见有感情，有血有肉，到如今读了还使人感动，怀想他的忠义。近来的文士，文字虽然艰深，用意却很浅近，即使写得和司马相如、杨雄一样好，别人不懂，又有什么用？以此他要秘书——翰林作文字，只要说明白道理，讲得通世务就行，不许用浮辞藻饰。到洪武六年，又下令禁止对偶四六文辞，选唐柳宗元代柳公绰《谢表》和韩愈《贺雨表》作为笺表法式。这一改革不但使政府文字简单、明白，把庙堂和民间打通，现代人写现代文，就文学的影响也可以说很大，韩愈、柳宗元以后，朱元璋是提倡古文最有成绩的一个人。他自己所作的文章，写得不好，有时不通顺，倒容易懂。信札多用口语，比文章好得多，想来是受蒙古白话圣旨的影响，也许是没有念过什么书，中旧式文体的毒比较轻的缘故吧。
唐宋两代还有一样坏风气，朝廷任官令发表以后，被任用的官照例要辞官，上辞官表，一辞再辞甚至辞让到六七次，皇帝也照例拒绝，下诏敦劝，一劝再劝甚至六次七次劝，到这人上任谢表才算罢休。辞的不是真辞，劝的也不是真劝，大家明白，这是在玩文字的把戏，误时误事，白费纸墨。朱元璋认为这种做作太无聊，也把它废止了。