其二是建都察院，下设十三道监察御史，施行严刑峻法。都察院的权力是纠察百官的得失，监察御史的官品虽然只有七品，但什么话都可以说，什么大官都可以告，凡是大臣奸邪、擅作威福，小人构陷、扰乱视听，以及贪赃枉法，变乱祖制和学术风气等都在纠劾的范围之内。《明律》中的许多规定，在今天看来，确实是十分残酷的。例如：凡奸邪进谗言使未犯死罪而致死的人处斩；如有人犯了死罪，有人用巧言进谏，使之免于死罪的，进言者也要被处斩；即使是掌管刑律的官员，如果听从了上司的主使，减轻或是加重了罪犯的刑罚，也要被处死，并将其妻子充作官奴，家产没入官府。对于贪污，朱元璋的认识十分深刻，认为直接关系到政治风气乃至国家的生死存亡，他说：“吏治之弊，莫过于贪墨”，认为此弊不除，欲行善政，绝无可能。于是，《明律》规定，官吏必须廉洁奉公，即使因公出差乘坐公车，也不能捎带私人财物，附载衣服等不得超过十斤，每超过五斤打十鞭，十斤加一等，直至笞至六十。凡贪污者，至轻之罪也要发配到北方边地，如果贪污数额折价超过六十两银子以上，处以枭首、剥皮、实草之刑。其具体的做法是把犯官先砍去头，然后再剥下皮，把头挂在杆子上，把皮包上草秸，放在衙门口旁边的土地庙外，或是摆在公座之旁，其用意是警告后来的官吏，不得再行贪污。朱元璋的这一招虽不太“人道”，但却十分有效，这种法令实行不久，吏治果然有所好转。
但尽管如此，还是有些官吏胆敢以身试法。公元1385年（洪武十八年），有人告发二司与户部侍郎郭桓勾结贪污，朱元璋迅速查勘，追出赃粮七百万石。朱元璋大怒，把六部左右侍郎以下的官吏全部处死。经过拷问，又牵连了许多人，最后杀人总数，包括官吏和地主竟达数万人之多。在这种严刑峻法和“运动”打击结合的综合治理下，洪武年间的吏治总算呈现出了新的面貌。
其三是对官吏实行特务统治。朱元璋设立了巡检司和锦衣卫，让巡检司专门负责盘查全国各地的过往行人，人们被限制在方圆一百里的活动范围之内，如有超出，须事先弄得“路引”，这是防止人民串连造反的重要措施。锦衣卫则是专门负责监视百官的动静的，就连街衢之上，也布满锦衣卫。这样，吏民的一言一行都逃不过皇帝的耳目。
一次，博士钱宰罢朝回家，在路上信口吟道：“四鼓咚咚起着衣，午门朝见尚嫌迟，何时得遂田园乐，睡到人间饭熟时？”第二天上朝，朱元璋对钱宰说：“昨天做得好诗！不过我并未‘嫌’你啊，改作‘忧’字怎么样？”钱宰一听，连忙跪下叩头，吓得出了一身冷汗。好在朱元璋并不是要追究他的罪责，而是要显示自己的无所不知，钱宰才算没有倒霉。吏部尚书吴琳告老还乡，已是无所作为，但朱元璋还是不放心，常派锦衣卫去监视他。
一天，一个特务向田间插秧的一个老农夫问讯道：“这里可有个退了休的吴尚书吗？”那老人措手答道：“我吴琳便是。”朱元璋得到了这一消息，知道吴琳并无异志，十分高兴，奖赏了吴琳。大学士宋濂是着名的学者，对朱元璋可谓赤胆忠心，但朱元璋竟还不放心，经常派特务监视。
一天，宋濂在家请客，特务竟把赴宴人等乃至菜肴全都列单汇报给了朱元璋。第二天上朝，朱元璋问宋濂请客及菜肴的情况，宋濂把所请客人和菜肴情况一一据实回答，朱元璋听后十分满意地说：“宋学士所说皆实，没有骗我！”国子监祭酒宋讷有一天在家生闷气，监视他的人认为有可能是对皇上不满，就偷偷地把他生气的样子画了下来，交给了朱元璋，第二天上朝时，朱元璋问他何故生气，宋讷做了解释，朱元璋知道他生闷气与朝事无关，才不追究。宋讷非常奇怪地问太祖怎么知道他的家事，太祖就把那张画像拿出来给他看，结果宋讷几被惊倒。就这样，朱元璋掌握了臣下的一言一行，臣下深恐动辄得咎，真正做到了前人所谓的“慎”、“独”，哪里还敢有不臣之心呢？
其四是实行舆论控制，以建立他在人们意识中的崇高地位。在时人看来，朱元璋的出身十分微贱，祖祖辈辈都是替地主干活的农夫，而且朱元璋本人还做过和尚。因此，朱元璋做皇帝，不仅不符合当时的标准，对民众简直还是一种污辱，尤其是许多贵族出身的文人，更是看不起朱元璋。至于出来做明朝的官，他们更是不干。对于这部分文人，朱元璋毫不留情。例如贵溪儒士夏伯启叔侄两人为了找借口不出来做官，竟然把手指截断，朱元璋听说了，就特意把他们召来，当面质问：“过去世道动乱的时候，你们住在哪里？”他们回答说：“红寇窜乱之时，我们住在闽、赣一带。”朱元璋一听，勃然大怒，他起自红巾军，夏伯启竟敢把红巾军称为寇，实是胆大包天，当即下令把他们处死，并命令凡是不听征召，不与政府合作的知识分子，一律杀头抄家。
朱元璋识字不多，但却特别忌讳文字上冲撞他，对于能合他心意的一些诗文词句，他也格外见爱。一次，朱元璋微服出访，到了江淮一带的多宝寺，见寺中多宣多宝如来的佛号，就对侍从说：“寺名多宝。有许多多宝如来”。随行的学士江怀素知道太祖又在考较群臣，就马上趋奉道：“国号大明，无更大大明皇帝”。朱元璋一听大喜，把江怀素提升为吏部侍郎。
朱元璋在江淮一带遇到以前的故友陈君佐，陈君佐少有才名，朱元璋就带他出入淮扬一带。一天，朱元璋在一家小店吃饭，忽有所思，又出对道：“小村店三杯五盏，没有东西。”陈君佐脱口而出对道：“大明君一统万方，不分南北。”朱元璋极其高兴，想让他随侍左右，当一词臣，陈君佐过惯了逍遥自在的生活，并不愿意，朱元璋也未勉强。又过了几天，朱元璋遇一士人，见他文采风流，相问之下，知他是重庆府监生，朱元璋便命他属对，自出上联道：“千里为重，重水重山重庆府。”那士人也不假思索，开口对道：“一人为大，大邦大国大明君。”朱元璋闻言大喜，第二天，就遣人送去了千两黄金。
如果无意当中冒犯了他，甚至是被人无中生有地构陷，朱元璋也横加杀害。例如，尉氏县教谕许元为本府作的《万寿贺表》中有“体乾发坤，藻饰太平”之句，其中“法坤”读作“发髡”，即剃去头发，朱元璋怀疑是讽刺自己当过和尚，“藻饰太平”与“早失太平”同音，这位教谕当然也就成了枉死城里的新鬼。怀庆府学训导吕睿为本府作《谢赐马表》中有“送瞻帝扉”，“帝扉”可读作“帝非”，朱元璋也怀疑这是吕睿暗示他不能当皇帝，也将之杀头。亳州训导林云为本州作《谢东宫赐宴笺》中有“式君父以班爵禄”，其中“式君父”可读作“失君父”，祥府县学谕贾翥为本县作《正旦贺表》中有“取法象魏”，其中“取法”可读作“去发”，朱元璋都以为是对自己不敬，均处以死刑。
逢年过节或是谢恩上表，总免不了要写一些歌功颂德的话，谁知这些文人却大遭其殃。最为怪诞的是杭州学府教授徐一夔为本府起草的《贺表》里有“光天之下，天生圣人，为世作则”之句，这本是极尽颂扬的话，谁知朱元璋见了大发其火，他说：“‘生’者，僧也，这是骂我当过和尚：‘光’则秃也，说我是个秃子，‘则’音近贼，是说我当过盗贼。”这位拍马屁拍到驴腚上的教授，只好呜乎哀哉了。
在这种严酷的文字狱的统治之下，文人学士只好缩头缩脑，别说高谈阔论，发表什么政治见解，就是平时说话作文，也要小心万分，否则，不知什么时候，横祸就会飞到自己的头上。
朱元璋用这些手段改善了吏治，巩固了他的统治，树立了他的威信。同时，他对于一些谋反或是不驯的功臣，也决不手软，胡惟庸谋反案和蓝党大狱，不仅是明朝的两次大狱，也是中国历史上着名的大狱，这两次大狱共杀死了四五万人，朝廷官员几乎为之一空。自此以后，朱元璋的权力“棘杖”上的确没有扎手的硬刺了。
在明朝的开国功臣之中，武臣立功最着者，当推徐达、常遇春，文臣立功最着者，当推李善长、刘基。刘基是一位奇人，他洞察世事，无有不中，因此，他对朱元璋封赏的官职，多次拜辞不受，因为他知道朱元璋生性忌刻，很难容人，跟他共事长久，必不免有杀身之祸。而李善长却官至右丞相，封韩国公，有骄矜之态。朱元璋对他渐感不满，想换掉李善长，让刘基为右相。刘基说：“善长是有功的老臣，能够调和各将的人际关系，不宜马上把他换掉。”
朱元璋很奇怪地问道：“善长多次说你的短处，你怎么多次说善长的长处呢？我想让你做右相，不知怎样。”刘基顿首说：“换相好比换殿中的柱子，必得用大的木材，若用小的木材，不折断也必定仆倒，我就是那种小材，怎能当右相呢？”
朱元璋问：“杨宪如何？”刘基说：“宪有相才，无相器。”又问：“汪广洋如何？”又答：“器量偏浅，比宪不如。”又问：“胡惟庸如何？”刘基急忙摇头道：“不可！不可！区区小犊，一经重用，必至辕裂犁破，祸且不浅了！”
不久，杨宪因诬陷人而被处死，李善长又被罢去相职，胡惟庸逐渐升为丞相。他听说了刘基对自己的评价，怀恨在心，就诬陷了刘基的儿子，又害了刘基。
刘基忧愤成疾，被朱元璋派人护送回青田，不久去世。害死了刘基之后，胡惟庸更加意气洋洋，肆无忌惮，他恃权自专，朝中生杀陟黜之事，不待奏闻，就自行决断。对于送来的奏章，他也先行拆阅，凡不利于己者，就藏匿不报。朝廷势利之徒，竟走其门，胡家珍宝金帛，积聚无数。
魏国公徐达看不顺眼，就给朱元璋上了密本，说胡惟庸奸邪，应加诛除。朱元璋没有相信徐达的话，反给胡惟庸知道了这件事，因此，胡惟庸对徐达怀恨在心。于是，胡惟庸就私下里买通了徐达家里的看门人，让他诬告徐达，谁知弄巧成拙，这计谋被自己的守门人报告了徐达，反而遭到了朱元璋的怀疑，每天上朝都提心吊胆。恐怕遭到不测之祸，等了几天，竟然没事，才逐渐放下心来。
胡惟庸自此收敛了一阵，后来觉得自己应当再找个牢靠的靠山，就看上了李善长，李善长虽不当丞相了，但朱元璋还是十分看重他，经常出入宫廷。胡惟庸请人做媒，把女儿嫁给了李善长的弟弟李存义的儿子，胡惟庸有了李善长这一靠山，不觉又趾高气扬起来。正巧，胡惟庸在定远的老家宅中的井里忽然长出了竹笋，高及数尺，一班趋炎附势之徒都说是极大的吉兆，又有人说胡惟庸家的祖坟上每天晚上有红光照耀天空，远及数里。胡惟庸听了，更觉得是吉兆，越发得意。
恰在这时，德庆侯廖永忠，因擅自使用皇帝的龙凤仪仗而被赐死。平遥训导叶伯巨上书劝谏朱元璋，说他分封太多，用刑太繁，求治天下之心太过迫切，结果使得朱元璋大怒，把他捕入狱中，活活饿死。安吉侯陆仲亭擅乘驿车，平凉侯费聚招抚蒙古无功，均被朱元璋下旨严厉责罚。
汪广洋罢相数年，由胡惟庸推荐，重登相位，不久又因刘基案被贬谪，汪广洋知道胡惟庸的不法行为，但一直替他隐瞒，在二次罢相之后，定居云南，不久即被赐死。朝廷官吏屡屡得咎，使得朝廷之上人心惶惶，深恐祸及己身。尤其是汪广洋被赐死，更使胡惟庸觉得震动，他觉得朱元璋迟早要惩治自己，就下定了反叛的决心。
首先，他把那些遭到朱元璋惩治而心怀不安的官吏争取过来，结成党羽，然后又托亲家李存义去他哥哥李善长那里探听口风，李善长知道这是祸灭九族的事，起初不肯应允，经李存义再三说明利害，最后默许了。从李善长的态度里他得到了鼓舞，加紧了谋反的准备活动。胡惟庸把一些亡命之徒结纳为心腹，又暗地里招募了一些勇士组成卫队，并把天下兵力部署情况了解得一清二楚，再派人去同东南沿海一带的倭寇连结，引为外援，还结交了一些掌握兵权的人，准备一旦事发，就起兵响应。又秘密结交日本国派来的贡使，作为事败之后的退路。
胡惟庸在觉得一切准备完毕之后，就于公元1380年（洪武十三年）1月，奏告朱元璋说京宅井中出了一眼甜泉，乃是大吉大利之兆，请朱元璋前去观看。朱元璋竟相信了他的话，车驾从西华门出发，准备前往。就在这时，内使云奇突然闯入跸道，勒住了朱元璋的马缰绳，极力劝阻朱元璋，说是不可前往，由于情势太急，云奇声调急促，以至不能说得明白。朱元璋见此情景大怒，以为云奇放诞不敬，就喝命左右用金锤挝击。云奇断了胳膊，仆倒在地，气息奄奄，但却用手指着胡惟庸的宅第的方向。这时，朱元璋忽然有悟，忙登上高处向胡惟庸的宅第方向看去，但见胡宅中隐隐透出杀气，朱元璋大惊，立即发兵前往捕捉。
不一会，羽林军就将胡惟庸及埋伏的甲士捉拿归案，经人对质，胡惟庸无法抵赖，只得承认。胡惟庸被牵至市曹，凌迟处死。
朱元璋当然不肯罢休，他派出官吏，四处拷掠，把胡惟庸一案的新账旧账一同算清，由擅权枉法到私通日本、蒙古，再到串通李善长等人谋反，由此牵连到的胡惟庸的亲族、同乡、故旧、僚属以及其他关系的人皆被连坐族诛，先后杀掉了三万多人。
又过了十二年，蓝党之狱又成。凉国公蓝玉，是着名的武将，也是开国功臣，但为人桀骜不驯。蓝玉与太子朱标是间接的亲戚，往来很亲密。蓝玉在北征时看到燕王朱棣的行止，深感不安，回来后对太子说：“我看燕王在他的封地里实在是太有威风了，其行止不亚于皇帝。我还听说燕地有天子气，愿殿下细心防备，免生不测。”太子为人生性忠厚，不愿生事，就对蓝玉说：“燕王对我十分恭顺，决不会有这样的事。”蓝玉见太子不信，只好自找台阶说：“我蒙受殿下的恩惠，所以才秘密地告诉你涉及利害的大事。但愿我说的不中，不愿被我言中。”
不久，太子病死，朱元璋觉得燕王朱棣为人阴鸷沉稳，很像自己，就想立他为太子，但遭到一些大臣的反对，觉得于古礼不合，也对其他皇子无法交代，朱元璋只好立了朱标的儿子做皇太孙。燕王朱棣见太子已死，无人替蓝玉说话，在入朝奏事的时候就对朱元璋说：“在朝诸公，有人纵恣不法，如不处置，将来恐成尾大不掉之势。”朱棣虽未明指蓝玉，但大家心里都清楚，蓝玉曾在太子面前说过朱棣，朱棣现在要施行报复了，再加上“纵恣不法”四字，更是确指蓝玉。
在这种情况下，蓝玉竟还率性而为，一点也不检约自己。他出征西番，擒得逃寇，且捉住了建昌卫的叛帅，自以为功劳更大了，愈觉意气扬扬，本以为回朝后定会大有封赏没想到朱元璋根本就不理他。到册立皇太孙时，他满以为会让自己做太子太师，却没想到自己还是太子太傅，反倒让冯胜、傅有德两人做了太子太师。蓝玉十分愤怒，扯着袖子大喊道：“难道我还做不得太子太师吗？”他这一番闹腾弄得朱元璋更不高兴。