明王朝处于我国封建社会的末期，也是中央集权高度发展的时期，朱元璋作为明朝的开国皇帝，为防止大权旁落、江山易姓，设计了种种方案，采取了各种措施，其中备受瞩目的，便是废除丞相制度。
朱元璋建立明朝后，沿用元朝制度，在中央设立中书省，总理全国政务。洪武年正月，中书省奏请以皇太子为中书令，但朱元璋没有同意，认为当时太子年幼，学识浅，无经验，决定今后凡军国大事只要告知皇太子即可，中书令一职废而不设。中书省设置左、右丞相，平章政事，左、右丞相，参知政事等官职，下辖吏、户、礼、兵、刑、工六部。在地方上，则设立行中书省，统管一省军政事务。中书省丞相相当于古代的宰相，帮助皇帝处理一切军政大事，权力很大。丞相权重，势必会对皇权构成威胁。明太祖的权力欲极重，他即位以后，对皇极和相权相辅而行，又相互制约的状况很不满意，内心久已蕴藏废相、提高皇权之心。他说：“秦代设相，是祸乱起源，宰相权重指鹿为马。后来各代不以设相为鉴戒，相沿设置，往往带来祸患，原因就在宰相擅专威福。”为此，他逐步推行他的集权计划，削弱相权，直至废相，铲除了心腹之患，使权力集中在自己手中。他审时度势，暗中静观，在心中酝酿着解决的方案，但由于主客观方面的原因，朱元璋废除丞相的措施并非一步到位。
在废除丞相之前，朱元璋首先是对丞相之位的人选进行了几番调整。在明初，淮西勋贵与非淮西大臣之间存在着尖锐的矛盾。淮西勋贵都是早就追随朱元璋的旧将，朱元璋对他们比较倚重。洪武三年（1370年）大封功臣时，所封六公均为淮西人，二十八侯绝大多数也是淮西人。李善长是淮西勋贵集团的核心人物，他自投奔朱元璋后，一直在朱元璋身边尽心辅佐，被比拟为汉之萧何，位列功臣之首。中书省成立后，他与徐达分别被任命为左、右丞相，由于徐达常年领兵在外，平章政事又虚位未设，中书省大权实由李善长独揽。朱元璋虽倚重淮西集团，可又不希望他们权力过大，以致动摇自己的地位，于是便想到在中书省培植其他地方的人才，这其中就有一个杨宪。杨宪原是山西阳曲人，他博古通今，办事干练，很受朱元璋器重，被任为负责监视将帅臣僚的检校。开国之后，杨宪出任中书省参知政事，洪武二年（1369年）升为右丞，次年又引为左丞，协助李善长工作。杨宪十分妒忌李善长的地位，一心想扳倒他，好取而代之，便向朱元璋吹耳边风，说他“非相才”。朱元璋内心虽赞同，但因为李善长是淮西勋贵集团的核心人物，要动他，时机尚不成熟。于是便对杨宪不予理睬。这其中还有个小故事，据载，早在洪武二年（1369年），朱元璋就曾召见与李善长矛盾很深的刘基，谈话间对李善长作了指责，暗示自己有换相的打算。刘基不计个人恩怨，从大局着眼，指出李善长虽才干有限，心地狭窄，可他是开国元勋，又能协调诸将，的确是个宰辅之才，换掉他既不合理，也无益处。
朱元璋见刘基如此不论个人恩怨，便有意立他为相。刘基坚决推辞说：“易相之事，就好比更换大厦的梁柱，必得大木方可。如把小木条捆在一起代替，大厦就会倾覆。”朱元璋见刘基态度诚恳，只得把此事暂且放下。
在杨宪升为左丞相之前，担任左丞相一职的是汪广洋。汪广洋也是杨宪打击排挤的对象，正所谓“司马昭之心，路人皆知”，汪广洋早知道杨宪的恶名，便处处忍让，时时提防，但杨宪还是不肯放过他。杨宪指使御史刘炳等人弹劾汪广洋事母不孝，朱元璋一向提倡孝道，立即将汪广洋革职，让他回高邮奉母思过。杨宪还不满足，让刘炳再次弹劾汪广洋，以绝其复出之路，朱元璋命将汪广洋谪徙海南。刘炳屡次弹劾汪广洋，朱元璋心下不禁生疑，便突然逮捕了刘炳，遂勾连到杨宪，李善长趁机全面揭发了杨宪种种不法情状。洪武三年（1370年）七月，杨宪与刘炳一同被处死。汪广洋在杨宪事件后，即被召回京城复职，封为忠勤伯。洪武四年（1371年）正月初二，朱元璋撤下李善长，任命汪广洋为右丞，原参知政事胡惟庸为左丞，总理军国重事。李善长的下台，消除了朱元璋心中的一大隐忧，也是朱元璋为废相迈出的第一步。
朱元璋任胡惟庸为左丞的同时，又以汪广洋为右丞，目的是为了实现相互牵制，因为刘基早有警告，“让胡惟庸做宰相，就像让生猛的牛驾辕，恐怕要蹦跳脱辕，把车弄翻。”但汪广洋是个只求明哲保身的人，他将权力交给胡惟庸，自己成了一个尸位素餐之人。无奈之下，朱元璋只好废汪广洋，倚重胡惟庸，但正如宋太祖所言：“卧榻之侧，岂容他人鼾睡！”权重的胡惟庸迟早会成为专制皇权的牺牲品。
胡惟庸，定远人，在和州投奔朱元璋，是渡江前的淮西旧人。占领集庆，由元帅府宣使转宁国县主簿，升知县，迁吉安府通判，擢湖广按察司佥事。这时，他利用同乡关系，攀结上了李善长，遂于1367年被推荐为太常寺少卿，进太常寺卿。这一时期，是胡惟庸的发展阶段。洪武三年（1370年）入中书省任参知政事，为李善长心腹。洪武四年（1371年）正月，李善长罢相，汪广洋提升右丞相，胡惟庸接替汪广洋右丞职务，两人掌管中书省的大权。汪广洋是一把手，胡惟庸是二把手。这一时期，是胡惟庸的发迹阶段。而他的权力鼎盛时期是在三年以后，也就是洪武六年（1373年）。这一年，汪广洋左迁广东参政，胡惟庸递补右丞相，很快升任左丞相，坐上了中书省第二把金交椅。
胡惟庸升任左丞相后，右丞相之位一直空缺。然而国家刚刚成立，事情众多，头绪纷乱，而天下的每件事总不能统统由皇帝亲自定夺，一些无关紧要的小事，还得由承上启下的右丞相来操心。朱元璋想在文武百官中选出一个合适的人选来，却未能如愿，于是造成“久置右丞相而不设”的局面。
正当朱元璋在人事问题上犹豫不决的时候，在权力部门中书省，胡惟庸已把所有的权力牢牢地控制在了自己的手中，其程度到了“水泼不进”的地步。他两眼死死盯着中书省的第一把交椅。
胡惟庸对权力的觊觎，朱元璋如此聪明之人，再加上身边众多的耳目，不会无所察觉。但一方面胡惟庸是淮西人，与自己有共同的利害关系，另一方面不可否认，胡惟庸是个人才，不然他不会把中书省治理得连水都泼不进去。很有可能，朱元璋看准的正是这一点，“帝以惟庸为才”，所以“宠任之”。再加上他又是自己的亲信李善长的亲戚，要动他，还得三思而后行。
胡惟庸终于如愿以偿地当上了右丞相。在朱元璋时代，胡惟庸在丞相位置上坐了多年，属时间最长的一个。当刘基得知这一消息后，曾悲戚地说：“使吾言不验，苍生福也。”他早就看出胡惟庸不是个福星，但这是当朝皇帝的意思，又能怎样？
胡惟庸的才干和效率让朱元璋省去了不少精力，朱元璋想到的事情，吩咐下去，咄嗟立办，因而他博得了朱元璋的倚重和宠信。然而胡惟庸是有相才无相气，又足以坏人大事的那种人。他热衷权势，“宁可少活十年，休得一日无权”是他坚守的信条。
后来朱元璋因思念被贬的汪广洋，又将他调回任右丞相。胡惟庸虽降为左丞相，但名降实不降，依旧大权独揽，汪广洋只是个摆设而已。
胡惟庸任职期间，在相当程度上掌握着生杀黜陟之权。传闻，当时朝廷上下、生死人命、升降官职等大事，他从不向朱元璋报告，就自作主张。臣下上书的奏折，他自己“必先取阅”，如果不牵连自己，或自己集团的事，就递给朱元璋；反之，有“害己者”一字一词的报告，则立刻“辄匿不以闻”，要么烧毁，要么私自篡改后再递给朱元璋，回过头再对付“害之者”。
胡惟庸权倾朝野，自然引得许多想求官想升官的，落职后想复职的朝野文武，都奔走在他的门下，各种金帛、名马、古玩的贿赂不计其数。起初，他还假意推辞。后来，他不仅不推辞，不但悉数收下，而且对那些送得少的人提的要求，一概不给予满足。
为集结势力，稳固自己在朝廷中的地位，胡惟庸还煞费苦心地用计于这样两个人，一个是徐达，一个则是刘基，对前者是极力拉拢，对后者则是“置之死地而后快”。
胡惟庸想结好于徐达，就可以跟朱元璋的关系更进一步，于是便极力拉拢他。不料徐达并不为他的低声下气所动，他知胡惟庸其奸，为人不地道，从骨子里是“薄其人”的，并认为胡惟庸给淮西集团抹了黑，从而恨之入骨。有一次，性直的徐达对朱元璋直言说：“胡惟庸这个人是不能当丞相的。”此话传到胡惟庸的耳朵里后，他非常气愤。但是，对于徐达这样的人物他却没有丝毫办法，不得不放弃在徐达身上的打算。
刘基是明朝的开国功臣，被朱元璋比作西汉初年的张良，深得朱元璋的尊敬与爱戴。刘基又叫刘伯温，浙江青田（今浙江省青田县）人，他从小就非常喜欢读书，博览了儒家经典。他尤其喜爱兵书，只要手里能有一本兵书，他就可以饭也不吃，觉也不睡了。刘基长大以后，考中了元朝的进士，当了一个地方官。但那时农民起义此起彼伏，天下已经大乱了。刘基看不惯官场中的腐败现象，就弃官不做，回到了家里。后来，刘基被朱元璋请去做谋士，从此，刘基就开始辅佐朱元璋打天下。
刘基不但有谋略，而且还精通天文。他能通过观测天象，预知天气的阴晴变化。在古时候，人们都非常迷信地认为天象的变化和人间的凶吉有一定的联系。朱元璋也是这样的一个人，每逢国家出了什么大事，他就要去找精通天文的刘基问明原因。
有一年，江南发生了一场旱灾，朱元璋便问刘基怎样才能让上天降雨。刘基心里暗想，这几年朱元璋办了不少冤案，我何不借此机会进谏呢？如果能劝说朱元璋给忠臣们平反昭雪，岂不是更好吗？想到这里，刘基微微地皱了皱眉头，装出一副为难的样子说：“主公，恕我直言。老天不下雨，是因为您的监狱里关押了许多有冤枉的人。您只有给他们洗清了冤屈，上天才会降下大雨。”
朱元璋听信了刘基的话，让他亲自到监狱里清理冤案。经过刘基细心地一查，果真发现了不少冤案。刘基将这些冤案一件一件地整理出来，上报给朱元璋，朱元璋给他们都免了罪。
果然，没过几天，天降大雨，朱元璋对刘基佩服之至。其实，这下雨和冤案本没有一点联系，刘基通过观测天象，知道在几天之内将会有场大雨，他就借机把冤案和下雨联系起来，使不少无辜的人得到释放。
像这样一个能人，怎会得不到皇帝的器重！因而，在一开始胡惟庸是想与刘基交好的，可是后来刘基向皇帝说了些关于他的不受用的话，他这张脸就有些挂不住了。再加上刘基代表的是沛东集团，胡惟庸不能将徐达怎么样，对刘基却是敢给点儿颜色看看的。恰在这个当口，刘基之子刘琏越过胡惟庸直面向皇帝汇报事情，使胡惟庸恼羞成怒，决定借题发挥。事情的起因是这样的，原来在青田县南70里处有一个叫淡洋的地方，地势险要，又与瑞安县交界，常常是私盐贩子、逃军、躲避赋役的人们的藏身之所，因而构成地方治安的隐患。洪武三年（1370年），刘基的长子刘琏去京城奏请在这里设立巡检司，盘查来往行人。经朱元璋亲自批准，第二年正式设立。洪武六年（1373年），这里发生周党山所领导的农民暴动。地方官害怕获罪，隐瞒不报，刘基就派刘琏去京城，由此才引出这段公案。胡惟庸唆使地方官上了一个奏章，说刘基看准了淡洋这个地方有王气，一心想得到它作为墓地。百姓不愿意给，他就请求设立巡检司，驱逐了百姓。这可一下子捅到了朱元璋的痛处。刘基能掐会算，他既能以种种神妙的术数辅佐我朱元璋，那为什么不可以为自己的子孙着想。想到此，朱元璋心中一横，于是下诏降罚，先剥夺了刘基的俸禄。对此，刘基深谙“沉默是金”的道理，他带领儿子刘琏赶往京师，没有一句辩白、一句埋怨，只是向皇帝谢罪，说因为罪臣冒犯，惹皇上生气，实在是罪该万死。这样一来，反倒使朱元璋无从下手了。
但是刘基一日不除，朱元璋便一日不得安宁，而此时的刘基因年事已高，再加上这一事变，已是百病缠身，于是朱元璋便想出这么一个法子——借刀杀人，即借胡惟庸之手杀了刘基，而胡惟庸也借此称了心。刘基在京城患重病时，朱元璋委派胡惟庸代表他前去看望，并让带个御医给刘基看病。看过病后，那个御医给刘基开了一副中药。事前，遵照胡惟庸的指示，他在药里下了毒。刘基不知是计，“饮其药，有物积腹中如拳石”，三个月后，朱元璋特地派人去探问，只说没有好转的希望，他心下一块石头才落了地。颁了一道诏书，命他回家安养。刘基于洪武八年（1375年）三月抵家，四月十六日就因慢性药物中毒死亡，享年65岁。刘基一死，胡惟庸扫清了绊脚石，更加嚣张、狂妄，做起事来越发无所顾忌了。他又与李善长是亲戚关系，这样的势力，除朱元璋之外谁也搬不动。
刘基虽不满于胡惟庸，但也不敢碰他，而吴伯宗就不同了，纵是虎须也要拈一拈。吴伯宗是明朝的第一个状元，受赐冠带袍笏，封为礼部员外郎。他生性耿直，城府也不深，终于触怒了胡惟庸，被贬至凤阳。吴伯宗一气之下，上告朱元璋道：“胡惟庸滥用事，专恣不法，不宜独任，时间长了，必为固患。”朱元璋对此未置可否，而是继续暗中观察胡惟庸，因为只有等他落下把柄才能连根拔起。
胡惟庸果真是肆无忌惮，又打起了徐达的主意。徐达曾在与皇帝的一次寻常谈论中顺便提起提防大臣专擅的问题，胡惟庸得知后心想，只有扳倒这棵大树才能求安生。因此他买通徐达的看门老仆福寿，让他提供情报，或干脆趁机杀掉他。福寿表面答应，暗中却向徐达通报了消息。
对胡惟庸专擅，朱元璋早有所警觉，洪武十年（1377年）九月，升胡惟庸为中书左丞相，同时任命御史大夫汪广洋为右丞相，以图牵制。洪武十一年（1378年）二月，他又明确告诫：“胡元之世中书专政，凡事必先关报，然后奏闻，其君又多昏蔽，致民情不通，以至大乱，深可为戒。”因命礼部规定奏章格式，禁止天下奏呈关白（以副本通报）中书省。
同年又发生了钱苏事件。钱苏是常熟的一个儒士，因上书天子未先拜宰相，受到胡惟庸的嫉恨。朱元璋让胡给钱苏在中书省谋一个职位，胡却打发他到南京后湖荒僻之地看守档案。朱元璋从中看出丞相对钱苏的不满，钱苏才高八斗，看守档案实在屈才，便欲直接给他安排职位，钱苏称瘸，朱元璋便让他回家养病，并告诉他经过沿途所在州县时，可以直入大堂，南向而坐，向所在官员传皇帝的旨意：“皇帝敕尔：善辟田里，养老恤孤，无忌军旅，简在帝心，钦哉勿替。”钱苏拜谢而出，一路风光地回到到家乡，出了郁闷心中几年的窝囊气。
然而胡惟庸还在自顾自地越走越远，一个阴阳先生说他家祖上三世的坟上，皆夜有火光烛天，后人不得了，定是天子。胡惟庸信以为真，继而产生了以政变手段谋害朱元璋，自己当皇帝的念头。
他暗中纠集了一批干将，派人到沿海招倭寇，让蒙古人封渍当元朝的皇帝，作为外应。此时如果不是发生了一件意外之事，胡惟庸还真会干出谋反的事来。原来，胡惟庸的儿子是个恶少，这一天他喝得醉醺醺的，在街中打马飞奔，前面突然受阻，马立而起，将这位胡衙内掀了下来。恰巧这时，面前有辆车驶过，胡衙内就作了轮下之鬼。胡惟庸闻讯，不由分说将车夫打死。消息传到朱元璋那里，这使他对胡家专横跋扈、欺压百姓有了更深的认识，他于是下定决心，要除掉胡惟庸这个后患。
他把胡惟庸叫到宫中，软禁起来，并说要杀了他，给那车夫偿命。胡惟庸以为单单是为车夫的事，就“请以金帛给那车夫家”，请求朱元璋留他一命。朱元璋不知出于什么原因，竟答应了，放胡惟庸回家去。
洪武十二年（1379年）九月，又发生了占城国使臣入贡事件。事情的经过是这样的：占城国使臣阳须文旦向明王朝进贡，中书省未按时奏报，朱元璋知道后大怒：“朕居中国，抚四夷，以礼待之。今占城来贡方物，尔等泛然若罔闻。为宰相辅天子，出纳帝命，怀柔四夷，就应当如此吗？”胡惟庸、汪广洋及礼部堂官都下了狱。这就是震惊朝野的胡案。
同年十一月，朱元璋借胡惟庸毒死刘基一事给汪广洋套上一个朋党包庇之罪，将汪广洋贬谪海南。汪广洋离京之后，朱元璋又改变主意，派遣使臣宣布敕旨将他处死。洪武十三年（1380年）正月初二，御史中丞徐节在狱中被逼揭发胡惟庸谋反。
正月初六处死胡惟庸等人，胡惟庸的罪状是擅权枉法，他倒是罪有应得，然而胡惟庸的死并不意味着这场斗争宣告结束。
徐节，也就是那个御史中丞为求活命，竟编了个胡惟庸结党造反的口供。一下子便为朱元璋提供了个扩大打击面的借口，于是按名逮捕，辗转审问，指供诱供，举朝上下，人人自危。凡是一个人被咬出来，他的家属、仆从、亲属一概下狱刑讯。徐节，这个始作俑者，也在举朝齐声喊打中，被皇上趁势送进了鬼门关。死于胡案的主要人物有御史大夫陈宁、中丞徐节、太师韩国公李善长、延安侯唐胜宗、吉安候陆仲亨、平凉侯费聚、南雄侯赵庸、荥阳侯郑遇春、宜春侯黄彬、河南侯陆聚、宣德侯金朝兴、靖宁侯叶昇、申国公邓镇、济宁侯顾敬、临江侯陈镛、营阳侯杨通、淮安侯华中；大将毛骧、李伯昇、丁玉和宋濂的孙子宋慎等。宋濂也被牵连，贬死四川茂州。
也许正如史家们所感觉的那样，朱元璋是一个可以同吃苦的人，却不是一个可以共富贵的人，而且面对着整个朝政，几乎全是由淮西集团里的人做朝内的大官，朱元璋不能不生出警惕。更让朱元璋戒惧的是，刘基就是被胡惟庸所派的医官害死的，那么，今天是刘基，明天会不会该轮着他朱元璋呢？朱元璋不能不考虑这些问题，而且任由丞相专权的这种情况发展下去，势必会对皇权构成威胁。所以，除胡惟庸是一件必然的事情。
朱元璋诛杀胡惟庸后，干脆一不做，二不休，翌日便向群臣宣布：革去中书省，改大都督府为前、后、左、右、中五军都督府，废止了代皇帝行使权力的丞相制度，提高了吏、户、礼、兵、刑、工六部的地位，它由对中书省和丞相负责，改为直接对皇帝负责。作为最高军事机关的大都督府，一分为五，使权力分散，避免了军权过于集中在武人手中，便利了皇帝的控制。加上都察院（由御史台改）的监督，就构成了中央府、部、院三个互相制衡又分别对皇帝负责的权力支柱。
洪武二十八年（1395年）朱元璋又下令：“自古三公论道，六卿分职。自秦始置丞相，不旋踵而亡。汉、唐、宋因之，虽有贤相，然其间所用者多有小人，专极乱政，我朝罢相，设五府、六部、都察院、通政司、大理寺等衙门，分理天下事务，彼此颉颃，不敢相压，事皆朝廷总之，所以稳当。以后嗣君计不许立丞相，臣下敢有奏请设立者，文武群臣即时劾奏，处以重刑。”这里所说的朝廷就是他自己，和过去的朝廷有本质上的区别。从罢相以后，府、部、院、司分理庶务，目的是把权力分散，“不敢相压”“事皆朝廷总之”，一切大权都由皇帝个人掌握，“所以稳当”，再也不怕大权旁落了。从中书省综掌政权一变而为由皇帝亲自管理庶政，封建专制的政权从此更加集中。集中于一人之手，皇帝便成为总揽一切政事的独裁者了。至此，皇帝的权力之大几齐于过去的秦始皇，君主专制发展到了极端。
在朱元璋心中，对皇权构成威胁的力量，一是握有军权、影响很大的功臣，二是综理政务、职权很重的丞相。不过，开国初期，大规模的战事虽已结束，周边地区或是仍未归附，或是不太安宁，还需要武将们征战沙场，解决功臣问题的时机尚未来临，朱元璋遂把注意力集中在解决君权与相权的矛盾上，前后花了十几年的时间。
君权与相权的矛盾现在既已解决，紧接着下来的当然就是收回兵权的斗争了。
朱元璋十分赞同宋朝时赵普对军权的看法，宋太祖曾向赵普请教说：“自唐末以米，帝王走马灯似的换了八姓十二君，兵革不息，生灵涂炭，是什么原因呢？我近来日思夜想的是用什么办法，能长久地消除这种兵变和战乱呢？”赵普答：“唐末以来战乱频仍，百姓流离失所的原因，归根到底是由于地方节度使和朝中典兵大将权力太重，弄得君弱臣强。要想彻底根除这流传百年的祸根，臣有十七字方针：稍夺其权，制其钱谷，收其精兵，则天下自安。”由此便引发了杯酒释兵权事件。
如果说，宋太祖收兵权是以温和的方式实现的话，那么朱元璋收兵权就充满了血腥。
当然，朱元璋收兵权就同他废丞相一样，并非一步到位，而是首先着眼于机构的调整，阶段性地削弱中央军事机构的权力。这其中最费脑筋的，是军队和统帅的关系问题。要打仗必须任命统帅，总不能每次战争都由皇帝自己统率。但是任命了统帅，统率了大军，在战事结束以后，如何收回这个统帅权呢？不收回，将帅有固定的直属的大军，一旦有变故，他的统治是不牢靠的。要收回，采取什么办法？
考虑到元朝兵权主要由大都督府所掌握，任何将领调动都需要通过大都督府，这无形中对皇帝的权威造成了影响，因此朱元璋在废除了中书省的同时，就借势把大都督府也撤消了，同时又设立了前、后、左、中、右五个都督府，每个都督府又设了两个长官，即左、右都督，两人都有自己的都司及卫所。朱元璋又明确规定：五军都督府管理兵籍及军政，但是没有调动军队的权力，兵部掌管军官的提拔并且制定军令，但不能直接指挥军队。如果要调动军队，则由皇帝直接负责，然后从卫所中调动部队并且委派将领。将领出征时有印在身，以示皇帝的权威，战事如果结束，印则必须交回，各个卫所的士兵则各回本队。这些办法的施行，达到了朱元璋永久性削弱中央军事机构权力的目的。
但朱元璋并不就此满足，原因是在国家趋于安定后，随之而来的是功臣武将骄横放肆，皇权与将权的矛盾不断激化，洪武年间发生了蓝玉案，就是这种激化的结果。
蓝玉，安徽定远人，此人身材高大，面如重枣，是名将常遇春的小舅子。他英勇善战，所向披靡，一直跟随常遇春南征北战。常遇春常在明太祖面前夸奖他，明太祖也因常遇春的关系，对蓝玉非常赏识，很快将他由管军镇抚提升为大都府佥事。
蓝玉从洪武四年（1371年）直到洪武十一年（1378年）转战西北战场，在伐蜀、北征的战役中，立下赫赫战功。洪武十三年（1380年）被封为永昌侯，俸禄多达二千五百石，成为南征北战的主要将领。洪武十四年（1381年）又被任命为征南左副将军，平滇之役，蓝玉战功赫赫，明太祖非常高兴，特为他增加俸禄五百石，并封其女儿为蜀王妃。
洪武二十年（1387年）以征虏左副将军随从大将军冯胜征纳哈出，冯胜得罪，蓝玉即军中代为大将军。洪武二十一年（1388年）率军十五万攻打蒙古，一直打到捕鱼儿海，北元主脱古思帖木儿以数十骑遁去，大胜而回，封凉国公。洪武二十三年（1390年），他又奉命率军去西南，平定了叛乱。总之，在一系列军事行动中，他屡有建树，成为继徐达、常遇春之后最能征善战的武将。
常遇春、徐达死后，蓝玉继为大将，总军征战，立了大功，明太祖对他也另眼相看。于是他便居功自傲起来，开始骄横、放肆，目无国法。他蓄养庄奴、假子数千人，仗势胡作非为；在军中擅自黜陟将校，不听朱元璋命令；他强占东昌民田，御史去查问。蓝玉居然殴打驱逐御史；北征班师回朝，夜至喜峰关，叩关门，因关吏开门不及时，蓝玉大怒，竟纵兵毁关而入；惹得朱元璋不快的是，他竟敢与元王妃私通，更有因封官一事，蓝玉公然表示不满。明太祖册立皇太孙为自己的继承人后，依惯例，应当给功臣们加官晋级，蓝玉西征回来后，得知自己与宋国公冯胜、颍国公傅友德都被加官太子太傅时，心里很不高兴，嫌官小，不乐意在他人之下。
蓝玉总兵多年，麾下骁将十数人，威信很高，这可以从一件小事中看出来。有一次出征前，蓝玉与部下十几人去向太祖辞行，明太祖只打算单独与蓝玉一人议事，让诸将先走。明太祖连续几次示意诸将退下，诸将却毫无反应，这时只见蓝玉举袖轻轻一挥，诸将立即告退。这一举动令明太祖深感不满，寻思这些武将不听自己的指挥，却听从蓝玉这样一个大将军的指挥，于是心下已决意除去蓝玉。
对付蓝玉，明太祖首先是发出警告，他命人将蓝玉的错镌刻于铁卷上，并时常谴责他的过失。但是蓝玉并不领会，不能从中嗅出些异样来，朝见明太祖时，无论是赐坐或赐宴，依旧态度傲慢。
其次，便是大封皇子为王，洪武二十四年（1391年），皇十六子朱檹，皇十七子朱权，皇十八子朱梗，皇十九子朱橞，皇二十子朱松，皇二十一子朱模，皇二十二子朱楹，皇二十三子朱桱，皇二十四子朱栋全都封了王，遍布大明王朝的多个角落。在北部边疆，明太祖分封了九个塞王，太祖还给他们配备了足够的精兵，这一切都为最后的行动准备了条件，只等蓝玉撞上猎捕之网。
促使朱元璋拿蓝玉开刀的因素还有一个太子朱标，朱标生性仁慈，他和朱元璋两人除了身材都高大而威武之外，没有一点相似之处。朱元璋就想，如果有一天，我突然死了，而大批的开国功臣却还活着，那这大明江山会变成什么样？太子朱标那么仁慈，能驾驭得了这些文臣武将吗？只要有几个文臣武将心怀不轨，恐怕大明江山就要改变颜色了。
于是他极力重塑太子，希望他将来能够跟自己一样有铁石般的心肠，然而天妒英才，洪武二十五年（1392年）四月，年仅38岁的太子朱标病故，这使65岁的朱元璋悲痛欲绝。沉重的打击使明太祖一下子老了许多，眼看着培养了几十年的接班人就这么离去了，那么朱氏王朝将由谁来接班？谁来捍卫呢？明太祖在悲痛之后要立即解决这个问题，最后又立了年方16岁的皇太孙朱允炆为自己的接班人。皇太孙太年轻，又没有经验，这怎么能够驾驭文臣武将呢？朱元璋太担心了，为了朱氏一统天下，永不变姓，他必须“拔刺”。当然，他得等一个合适的机会。
终于，机会来了，蓝玉是常遇春的内弟，常遇春的女儿又是太子朱标的妃子，蓝玉是地地道道的太子妃的亲娘舅，因此太子与蓝玉关系特别近。就在蓝玉平定纳哈出还朝时，就曾对太子说过这么一段话：“我看燕王在封国北平，安抚百姓，甚得民心，不少人说他有君王风度，我怕这话传到皇上那里，会影响皇上对殿下的感情。我还听擅长看风水的人说，燕国有天子气，望殿下心里有数。”谁知这竟传到了燕王的耳朵里，他对蓝玉恨之入骨，对明太祖说：“诸公侯多放肆无法度，不除掉他们，将来会出现尾大不掉的隐患。”
洪武二十五年（1392年）八月，朱元璋以“胡党”罪名杀了蓝玉的姻亲靖宁侯叶昇，此时蓝玉正在西北前线忙于平叛，闻讯后大为震惊，回想自己为大明出生入死，却受到这样的对待，实在是咽不下这口气，于是萌发谋反之心。平叛胜利后，朱元璋于十一月诏令蓝玉班师回朝，蓝玉对诏他回去的钦差讲：“必是我亲家靖宁侯在胡党事内有我的名字，叫你来提取我的。”又说：“实不瞒你，我如今回家看动静，若是果有这话，好歹放手干一场。你回去休要泄露出去，若事成时，大家都安享富贵。”
蓝玉回京后，便对亲信讲：“先前胡党事发，坏了多少官人，我想不如先下手为好。”于是积极联络，筹划谋反，并且说：“我奏了几件事，都不从，只怕皇帝早晚也容不下我，不如趁早下手干一场。”
蓝玉认为，天下军马都归自己调度，朱元璋又身体有病，新立的皇太孙只是个乳臭未干的小儿，此时不起事，更待何时？于是密召亲信，暗中串联景川侯曹震、鹤庆侯张冀、东莞伯何荣以及自己的老部下，将他们叫到自己府第密谋。让诸将分头收集兵马、武器，并初步定于洪武二十六年（1393年）二月十五日起事。正月二十八日，蓝玉召来担任起事主力的府军前卫百户李成，并下达起事的命令。
然而天有不测风云，二月初八，早朝快要结束时，锦衣卫指挥突然告发蓝玉谋反，朱元璋立即下令逮捕蓝玉，第三天就将他处死并灭族。朱元璋的做法真可谓是迅雷不及掩耳，蓝玉谋反的计划就这样胎死腹中。
紧接着，朱元璋大治蓝案。死于蓝党的主要人物有吏部尚书詹徽、户部侍郎傅友文、开国公常升、景川侯曹震、鹤庆侯张翼、舳舻侯朱寿、东莞伯何荣、普定候陈桓、宣宁侯曹泰、会宁侯张温、怀远候曹兴、西凉侯濮玙、东平侯韩勋、令宁侯孙恪等人。除此之外还有一大批高级军官都被牵涉入内，遭到族诛，总共杀害了两万多人。据说詹徽的被杀，是蓝玉亲自把他牵入案中的。锦衣卫指挥告发后，蓝玉据理力辩，不肯服罪。詹徽曾喝令他招出实情和同党，蓝玉于是大喊：“詹徽就是我的同党。”詹徽就这样牵连被杀。
另外，朱元璋还据此案命作《逆臣录》，其中就有蓝玉欲谋反的言行细节。总的来说，《逆臣录》公布的大量案犯供词，矛盾百出，不但不能证明各人是死有余辜，反而充分说明此案纯属子虚乌有，是朱元璋一手策划的。虽然对武将的骄横跋扈、目无法纪的行为应该管束，甚至杀几个主犯，也不为过。但是大兴党狱大开杀戒，株连过多，那就是另一性质问题了，况且连下级将士兵卒也不放过，那就纯属滥杀无辜了。在蓝玉家教过书或因为曾给蓝玉写过字、画过画的人，也被视为同党诛杀，真是荒唐。
朱元璋这样做，也是以史为鉴的。历代王朝之初，凡大封有功之臣，终免不了引出后世之乱来。因为这些功臣或其子嗣在和平时期定会集下巨额财富，并逐渐形成强大的地方势力，有朝一日，他们相互勾结，密谋造反必将惹出祸乱。朱元璋正是出于这些考虑才大开杀戒的。
朱元璋是淮西人，帮他夺取天下的也主要是淮西人。朱元璋得益于淮西人，或者说受恩于淮西人，因而他也感恩于淮西人。
朱元璋是有乡土情结的，战争时期，他很信任自己的同乡。当时领兵的元帅以及幕府的谋士，大多是由朱元璋的同乡担任的，这些人也真为朱元璋露脸，不但屡打胜仗，还大大发展了朱元璋的势力。随着朱元璋控制范围的不断扩大，朱元璋在小明王眼中的地位也越来越高，小明王最后封朱元璋为中书省的官职，授命朱元璋管理一方的事务，淮西将领们的地位也跟着朱元璋地位的提升而步步高升，并且一度在江南政权中达到了相当高的地位。虽然朱元璋在扩大了统治区域之后又吸收了相当一部分浙东知识分子加入自己的阵营，但是作为早期跟随朱元璋的一群人，淮西将领们仍然受到了朱元璋的重视，并且一直都是朱元璋队伍当中的骨干。在朱元璋南征北战、推翻元朝、统一全国的斗争中，淮西将领起到了相当大的作用，为明朝的建立立下了汗马功劳，这是不争的事实。
和平年代到来后，初期阶段，朱元璋并不打算把功臣们一个个除掉，而是念及他们在战争中的功劳，想遂其心愿把他们一个个封官，共享富贵荣华。
除了封官许愿之外，他还与老臣们进行政治上的联姻，以姻缘关系来笼络政治势力、巩固统治。婚姻作为封建社会里一种特殊的方式，尽管有限，但毕竟有效，自然会被朱元璋所采用。朱元璋的儿子很多，为了能够拉拢淮西将领，他很自然地想到了利用婚姻来做文章，把那些大将们的女儿纷纷许配给自己的儿子，又把自己的女儿嫁给淮西将领们的儿子，这样通过一个庞大的姻亲网，就使这些将领和自己结成了一个政治利益的共同体。对于淮西将领来说，开国的元勋又成了新朝的显贵，还与皇帝攀上了亲戚，自然要加大力量来维护朱元璋的统治了。
但是朱元璋对淮西集团并非一味地信任和拉拢，相反，随着时间的推移，他们之间也越来越疏远并生出间隙与猜疑。首先，是在于彼此之间关系的转变。战争期间，朱元璋与这些功臣是患难与共、生死相连的哥们儿关系，但是建国后就不同了。朱元璋是君，他们是臣，君臣之礼是要讲的，而且是必须严格遵守的，于是朱元璋和他们之间画出了一道界限分明、不可逾越的鸿沟。这鸿沟自他称帝起，便形成了，并且日益加深，直至演变成吃人的深堑。
其次，追随朱元璋打天下的人，虽然大多出身穷苦，但一旦有了权势，也就难以保持农民淳朴的本色，不免骄奢淫逸，奢恣暴横。朱元璋对此一直存有清醒的认识，并力加防范。
早在建国前，他在听说功臣家奴仆多有横肆不法者时，就诫谕说，恃势骄恣、逾越礼法的现象一定要除去，决不姑息，甚至在大封功臣之际，还批评汤和嗜酒杀人，不遵法度；赵庸私占奴婢，废坏国法；廖永忠指使儒生窥伺卜意，以邀封爵；郭子兴不奉将令，不守纪律。汤和等四人按照功劳本应封为公爵，但因上述过失，只封为侯爵。封爵后仅一个月，又将屡立战功又屡次杀人的右丞薛显贬到海南。然而功臣们依旧我行我素，违法乱纪之行不胜枚举，朱元璋气愤之余，命工部制作铁榜，用以申诫公侯，规定：各级军官不得私自接受公侯的金银财物；公侯等人非奉经特旨批准外，不得私役官军；公侯之家，不得强占官民的山场、湖泊、茶园、芦荡以及金银铜场和铁冶；各卫官军非当出征之时，不得在公侯门前侍立听候；功臣之家管理庄园的人员，不得在乡欺压殴打百姓；功臣之家的佃户、奴仆等人不得仗势欺凌百姓，侵夺田产、财物；公侯之家，除钦赐的仪仗户和佃户外，不得私自接受投托人户，隐蔽差徭；公侯之家，不得倚仗权势，欺压良善，侵夺他人的田地、房屋、牲畜；功臣之家，不得接受他人投献的田土物业。铁榜的颁布，是朱元璋对待功臣的态度由宽容转向严厉的一个信号。洪武十三年（1380年）又颁布《臣戒录》，洪武十九年（1386年）颁布《至戒录》，洪武二十一年（1388年）颁布的《大诰武臣》，是专门针对武将勋臣的，目的是使他们有所警戒。但功臣们自恃劳苦功高，对朱元璋的警告置若罔闻，侵渔百姓、私役军士、府第逾制、荒淫无度一类的事情，经常发生，朱元璋与功臣之间的关系，变得越来越紧张。
再次，朱元璋对淮西将领们是否忠心的忧虑一直未解除。当朱元璋还在江南称吴王的时候，曾经发生过大将平章邵荣与参政赵继祖、元帅宋国兴的密谋反叛，虽然由于宋国兴的惧悔自首，朱元璋从这场阴谋中逃脱出来，但他也由此对淮西将领们产生了一丝戒惧。邵荣及赵继祖都是跟随朱元璋渡江的淮西老臣，他们在朱元璋最困难的时期投奔了朱元璋，并且为朱元璋的渡江出了大力气，现在却一下子反了，这让朱元璋在思想上实在难以接受。正由于此，朱元璋才不得不对这些功臣心怀戒惧。在与群臣们一次谈话中，朱元璋表露了他的这一心迹。他提出：如果夺取天下之后，诸将的手中还掌握着兵权，将会直接威胁到皇权的统一。他指出，五代之所以纷乱不止，就是因为皇帝的兵权被大臣们所掌握着。但是这些淮西将领们在没有得到更大的利益之前，仍不愿意交出自己的权力，同时也害怕失去了兵权之后无法保证自己的既得利益，因此一个个装着不懂的样子不作响应。朱元璋为此更加忧虑。
为了保证自己的帝位不动摇，朱元璋开始采取一系列调整措施。这其中就包括颁布铁榜，其目的是用封建礼法来约束官员们。除此之外，他还增加非淮西籍官员在朝中所占的比例。应该说这是朱元璋比较高明的一个做法，在一个朝堂内，如果是只有一个集团，那么这些人就不会有什么顾忌，也不会害怕朝廷的刑罚会加到他们的头上，因为他们本身既是法律的制定者，也是法律的执行者。一个小集团之所以能够团结在一起，也就是有一个共同的利益在支撑着他们，任何危害他们利益的人或事物都会受到他们猛烈的群起攻击。朱元璋正是抓住这一点，把一些非淮西籍的人安插到朝廷中，让他们也形成一个小团体，与淮西籍的将领们互相制约，这样一来，就形成朝廷之内并非只有一个声音，而是有多个声音在说话了。淮西籍官员们在做事的时候不但要考虑皇帝的反应，同时还要考虑到与非淮西籍的官员们起了冲突之后，会不会有便宜可占。一旦有了顾虑，淮西籍的官员们做起事来就会逐渐收敛，不会那么霸道了。
通过这些措施的实行，朱元璋已经基本上控制了淮西籍大臣们的言行举止。但任何措施都有局限性，朱元璋最终发现这些费尽心机的举措，并不能完全阻止功臣们的其他行为，未能完全奏效之后，他就动了消除一些不听从自己话的旧部的决心。
朱元璋除功臣的决心一下，便先后制造了前面所说的胡惟庸案和蓝玉案。制造了这两起案件后，朱元璋便一发不可收拾，将两起案件扩大升级为党案。
杀胡惟庸及其受牵连者，等于是给高官们一个信号：皇权是神圣的，该交权的时候早已到了。这个权力只能是朱氏家族的，交出权力即是识时务，否则你们是不得安宁的。虽然朱元璋急于收权，实现由武将向朱氏家族的转移，但仍然没有得到群臣们的响应，他们认为胡惟庸是罪有应得，只知道自己以后要多加自律，百倍小心就是了，却没有想到自己手中的权力已经对朱元璋构成了威胁。
洪武二十三年（1390年），李善长死于胡案。前面提到李善长虽功高但“实无相才”，因而被罢相，这以后，他本当韬光养晦，但他却很活跃，盼着有朝一日能够复出。朱元璋对他虽表示尊崇，还把女儿临安公主嫁给他的长子李祺，但却不肯再给他实权，实际上对他一直存有猜忌之心。胡惟庸是李善长一手提拔起来的，两人关系密切，李善长的侄子还娶了胡惟庸的侄女，所以胡案发生后，很自然地就牵涉到李善长。洪武十八年（1385年），有人告发李善长之弟李存义父子是胡党。李存义官居太仆寺丞，是明太祖看在李善长面子上给的。他的两个儿子李伸、李佑都是官从群牧。这次被人告发，幸亏明太祖开恩，下诏免去死罪，只流放到崇明。
李善长没有从李存义事件中嗅出危险，依然我行我素，毫不收敛。
洪武二十三年（1390年），他大修府第，朱元璋听说后，十分反感。这年四月，流放犯丁斌因曾在胡府供事，被逮捕，严刑拷打后，供出李存义父子与胡惟庸结党，继而李存义父子又供称胡惟庸当年谋反时，李善长曾应邀参加其中。朱元璋得到消息后，假托星变，得杀大臣消灾，将李善长满门七十多口全都斩杀，只饶了临安公主、驸马李祺和他们两个儿子的性命。
宋濂博通经史，是著名的文学侍臣，他同时也是太子及诸王的老师。明初一代礼乐文诰制作，多出其手，又参与修国史、日历和宝训，被推为开国文臣之首。洪武十年（1385年），68岁的宋濂因年老致仕，明太祖亲赐《御制文集》及丝绸，并对他说：“收藏这些丝绸32年，就可以做百岁农。”宋濂叩头谢恩。回乡后，他小置田产，只教授盟徒，讲求学问，在明太祖寿诞时，他从老家前往京师去给皇上祝寿，唯恭唯谨。
洪武十二年（1379年）九月，宋濂陪朱元璋登文楼，摔了一跤，朱元璋见他年老体衰，就让他明年不要来了。朱元璋说过之后，很快就忘记了。次年万寿节，他见宋濂未到，以为他病了，派人到金华察访，正赶上宋濂与朋友饮酒赋诗。回来一汇报，朱元璋觉得自己受了宋濂的愚弄，很是生气。
到洪武十一年（1378年）十二月，宋濂的长孙宋慎在朝中做仪礼序班，竟列名胡党被处死，他的次子宋璲也连坐被杀。战战兢兢的宋濂在老家浦江等来的是皇上的圣旨抄家，年迈的宋濂连同全家大小都被用枷锁带到京师。
太子朱标听说此事后非常难过，就亲自到父皇面前给宋濂求情。朱元璋很不高兴，脸色一沉说：“等你将来做了皇帝再赦免他吧！”朱标见求情不准，又觉得愧对于自己的老师，竟去投水自杀，幸亏被一个老太监及时发现，这才保住了一条性命，马皇后知道后，也来求情，她对太祖说：“民间百姓为自家孩子请先生，还不会忘记恭敬相待。宋先生教过太子诸王，是他们的先生，怎么能忍心杀他呢！况且，宋先生致仕在乡，哪里又会知道朝廷中的事？”明太祖听不进去。于是，用膳时马皇后不沾酒肉，太祖感到奇怪，问她原因。马皇后回答是为宋先生修福。太祖默然，但却动了心，第二天，他开恩，算是饶了宋濂的死罪，把他流放到四川茂州。可怜72岁的宋濂只挨到夔州，就死在了那里。连宋濂这样的老臣都不能幸免，其他人的命运更可想而知了。
朱元璋兴胡案，并广为株连，以铲除功臣，但这并不是他杀戮功臣的开始，被朱元璋最早杀戮的功臣是德庄侯廖永忠。廖氏兄弟生在巢湖边，从小就练就一身好水性。永忠与其兄永安是以巢湖水师统帅身份投奔朱元璋的。廖氏兄弟的勇敢和廖氏一家人的忠诚给朱元璋留下了极好的印象。当年太湖一战，永安被俘，并誓死不降，死在狱中。朱元璋随即任命廖水忠为行枢密佥院，统帅永安的部队。鄱阳湖大战，永忠战绩卓著，武昌一役，他战功赫赫，朱元璋以红油漆亲书“功超群将，智迈雄帅”八个大字的匾额赐给廖水忠。平江战役后，廖永忠升为中书省平章政事。平定闽广时，他统帅水师，又建奇功。
需要着重说明的是廖水忠为朱元璋立的另一件不为人所知的奇功，那就是除掉小明王，史称瓜州事件。洪武三年（1370年），廖永忠在明太祖大封功臣的前夕，竟头脑发胀，想借此向他邀功。这一行为犯了朱元璋的大忌，终于在洪武八年（1375年），明太祖以偷穿龙凤花衣的罪名将其逮捕，入狱不久即被杀，时年53岁。
非因胡案而受到朱元璋猜忌并被谋害而死的，还有李文忠。
李文忠是朱元璋的亲外甥，在开国元勋中，与朱元璋的关系最为密切。李文忠，原名李保儿，母亲是太祖的二姐，父亲李贞在妻子死后，为贫困所迫，带他到处流浪，后来辗转到滁州投奔明太祖，当时他年仅14岁。明太祖把他当作自己的儿子一样，让他和侄子朱文正、义子沐英等一起学文习武。
李文忠是在战阵中冲杀出来的。他身经百战，驰骋疆场，东定浙，南入闽，北伐大漠，西镇洮番，屡建奇功。李文忠不但能攻善守，骁勇善战，而且通晓经文，善作诗文，是洪武年间不可多得的儒将。洪武二年（1369年）他随徐达、常遇春出征塞北，追击元顺帝。常遇春病故途中，由他代领副将军之职。次年北征，他接替常遇春，独率一军进趋应昌，俘获元顺帝的孙子、元后妃及将相等，并得到宋、元玉玺，立下大功。洪武三年（1370年）大封功臣时，被封为曹国公，年仅31岁的他已列身开国六公的行列。洪武十年（1377年），为了削弱中书省的权力，朱元璋特命李文忠参议军国大事。到洪武十二年（1379年），在采取重大行动前夕，朱元璋又将李文忠调回京城，提督大都督府兼领国子监事，可见明太祖对李文忠是何等地信赖。
李文忠为人器重沉宏，颇好学问，在军旅生活中，他敢打敢拼，英勇善战；在处理事务上干练谨慎，很得明太祖及马皇后的赞赏。朱元璋说过，开国之功，都靠勋臣同心协力，才得以成就大业，在皇亲国戚中有贡献的只有李文忠一人，可见他们的关系非同一般。在应天时，军队给养不足，明太祖要增加农民的田租，李文忠认为不妥，请求减租，朱元璋觉得他讲得有理，欣然采纳了。在攻下杭州之后，李文忠又提出了减免杭州地区田租的建议，朱元璋也同意了。
正当李文忠如日中天，达到他政治生涯顶峰的时候，他和明太祖之间却产生了越来越深的隔阂。
李文忠镇守严州时，迷恋上了名妓韩氏。朱元璋知道后大怒，先杀了韩氏，后又召李文忠回应天，准备问罪。马夫人为文忠说情：“保儿年少血气方刚，受人挑唆，责骂他一顿就是了。严州位置重要，保儿在那儿镇守着，不要损伤了他的威信，也不可轻易更换他。”朱元璋觉得夫人讲得有理，只是教训了李文忠一顿，又命他回严州去了。李文忠回严州后心中不快，他手下儒士赵伯宗、宋汝章劝说他：“此次你去应天总算是回来了，下次再去可就难保了，还是早作打算的好。”其意是劝他归降张士诚。李文忠聪明一世，糊涂一时，他还真的派人去杭州和张士诚联系。过些日子，朱元璋让人给李文忠捎了一封亲笔书信，又召他回应天。此次回应天，朱元璋不仅盛情款待，而且赐他好马、金钱，并推心置腹地叮嘱他要用心守好严州。李文忠回到严州后，对先前自己的做法非常懊悔，为了防止将此事泄露出去，他设计将张伯宗、宋汝章等人灌醉后沉江。然而天下没有不透风的墙，明太祖最终还是知道了此事，很是寒心，觉得李文忠也不可靠。
明太祖知道李文忠家中的儒士门客是他的谋士，常为他出主意。但由于李文忠计划投靠张士诚一事也是由儒士挑拨引起的，便渐渐地对李文忠听从儒士建议反感起来。李文忠劝朱元璋少杀人，又谏他裁减宦官等，这些劝谏非但没有被采纳，反而使明太祖对他产生猜忌，以为是他的门客儒士教他与自己过不去。正是基于这样一个想法，他大怒，说是李文忠打算削弱他的羽翼，认为一定是门客儒士教他这样做的。狂怒之下，他干脆派人闯入李文忠府，把门客全部杀了。李文忠连惊带吓，在洪武十六年（1383年）底病倒。次年春，李文忠病情不见好转，朱元璋派淮安侯华中督理医生为他治疗，还亲往探视。不料，在朱元璋探视后的第三天，李文忠突然撒手而去。李文忠一死，朱元璋便直接削去他的爵位，全家流放四川边远地区，并将为李文忠治病的医生全家及李文忠的侍者共一百多人全部处死。李文忠究竟是如何死的，已成不解之谜。不少人相信，他是中毒身亡的，至于是自杀，还是被朱元璋毒杀，那就更不得而知了。
从上述内容可以得知，朱元璋在称帝之后，猜忌心越来越重，手段越来越狠辣，当年的开国功臣大多成了牺牲品。但对徐达来说，他的功劳不可谓不大，官职不可谓不高，却没有受到明太祖的猜忌，这是为什么呢？原因就在于他忠心耿耿，谦逊谨慎，所以始终不见疑于朱元璋。
徐达为人秉性忠厚，“言简虑精”，而且“小心缜密”，在朱元璋面前“谦谨若不能言”；奉命率军出征时，“奉行（朱元璋）成算，如恐不及”；“功成而还”后，便“拜上印绶”，交出兵权，“待命于家，略无几微矜伐之色。”明太祖曾经称赞徐达说：“受命而出，成功而旋，不矜不伐……中正无疵，昭明乎日月，大将军（指徐达）一人而已。”正因如此，徐达一直深得明太祖的欢心、信任和重用，君臣之间关系颇为融洽。在史籍中，反映徐达居功不傲、谦逊忠君以及徐达与明太祖之间良好关系的记载不少。
洪武元年（1368年）正月初十，明太祖诏命徐达兼任太子少傅，与太子少师李善长等共同辅导东宫皇太子。在向翰林待制詹同等大臣阐述遴选东宫官的原则时，明太祖说：“朕今立东宫官，取廷臣勋德老成兼其职，老成旧人动有典则……夫举贤任才，立国之本；崇德尚齿，尊贤之道，辅导得贤，人各尽职。故连抱之木必以授良匠，万金之璧不以付拙工。”由此可见，徐达获兼太子少傅，是因为他的人品和能力得到了明太祖的信任和肯定。
洪武二年（1369年）十一月十三日，明太祖设盛宴款待朝廷功臣徐达等，第二天，徐达率诸将谢恩。退朝后，明太祖与徐达等一起来到华盖殿，并赐给徐达等坐位。当君臣“从容燕语”时，明太祖说：“今成一统之业，皆汝诸将功劳。”徐达听了后，又谦逊地带领诸将叩头回答说：“臣等起自畎亩，际风云之会，每奉成算出师征讨。用兵次第，如指诸掌。及其成功，不差毫发。此天赐陛下圣智，非臣等所能与也。”
洪武三年（1370年）十二月二十三日，明太祖因“天下既定”，特许徐达等有功武臣“少休息”，说自今以后徐达等可以三天或五天上一次朝，有大事临时召议。徐达推辞道：“臣等蒙陛下灵威，仰奉成算，遂剪群雄。顾臣等愚陋，犬马微劳，何足齿录？伏蒙圣恩，特加优礼，揆之于心，实心愧悚，岂敢自逸？”明太祖解释说：“朕固知卿不忘恭敬之意，但念卿等久劳于外，思有以慰卿等之劳耳。”但徐达还是带头“固辞”，不肯接受。最后，由于明太祖坚持“弗许”，徐达等方才勉强接受了明太祖给予的这一优待。
洪武五年（1372年）正月十七日，明太祖赏赐魏国公徐达、曹国公李文忠、宋国公冯胜交趾弓、彤弓，并对他们说：“古者诸侯有四夷之功，则赐之弓矢。卿等宣力四方，克著勋劳，故有此赐。”徐达等谦虚地回答说：“臣等赖陛下威灵，获效微劳，岂足齿录，而宠恩屡降，何以当之？”直到明太祖劝道：“古人有言‘善有章，虽贱赏也；恶有衅，虽贵罚也。’况卿等开国之臣，其章大矣，故赐以此，不为过也。”徐达等这才接受。
徐达每次出镇北塞归来后，明太祖都与他“宴见欢饮”，并以“兄弟”相称。明太祖对徐达越亲近，徐达就越恭敬小心。据记载，明太祖在与徐达开怀畅饮的时候，曾从容地对徐达说：“徐兄功大，未有宁止，欲以吾吴时旧邸居若。”徐达坚决推辞，不敢接受。有一天，明太祖故意约徐达到旧邸去喝酒，趁机将他灌醉，随后命令手下用被子将他包起来，抬进了主卧室。徐达酒醒后，发觉自己睡在明太祖的旧邸，大惊失色，立即奔出旧邸，匍匐在地上大声请求明太祖赐以死罪。明太祖知道他忠心臣服于己，内心“益悦”。
洪武十七年（1384年）十二月，徐达卧病，明太祖非常焦急，遣使四出征召名医为徐达治病，还亲自祷告山川、城隍之神。在祷词中，明太祖说：“曩者天下有乱，朕命将偃兵息民，大将军徐达之功为多。今（徐达）疾勿瘳，朕特告神，愿全生数载，固宁万姓，朕他日与达同往，唯神鉴之！”明太祖的祷词，既反映了明太祖与徐达之间深厚的君臣情谊，表明明太祖对徐达的依赖，又是徐达一生为主尽忠、为国竭力得到的一种回报。
洪武十八年（1385年）正月二十六日，明太祖在派遣徐达的长子徐辉祖持其玺书前去慰问徐达时，称赞徐达道：“方今九夷八蛮，大者畏力，小者怀德，非将军（指徐达）忠诚耿耿，以劳为逸，何由臻兹……迩者，将军有疮疾，朕初闻之，于心恐焉。今喜疾愈，特遣将军长子持朕至意，将军其悦且安，故劳。”
据说明太祖“喜微行”，经常突然来到徐达家中。徐达认为他这样做很不安全，于是想设法劝阻。有一次，徐达卧病在床，明太祖忽然来了，徐达出其不意地从其枕褥下抽出一把剑来，对明太祖说：“戒之，戒之。若他人得以甘心也。”明太祖心领神会，于是“自后功臣家不一至矣”。
徐达对明太祖忠诚恭谨，对其他皇室成员的态度也同样恭敬。徐达长年镇守北边，他的长女是燕王朱棣的正妃，但他在燕王朱棣的面前从来不敢以长辈自居，每次见了燕王朱棣，都“必执臣礼，不少问”。因此，燕王朱棣也“礼重之”。
在徐达死后若干年，明朝后嗣帝王对开国元勋徐达恪守礼义、谦虚谨慎的表现仍旧非常赞赏。如宣德六年（1431年）四月十三日，明宣宗在宣布赦免总兵官左都督陈怀收受贿赂，包庇罪犯；放纵家人占夺军屯，且霸占部下军士妻子给自己的外甥做妾；妄自尊大，肆意折辱朝廷命官等罪时，曾经对身边的大臣们说：“朕尝闻皇祖（指明成祖）言中山王（指徐达）国家元勋，旦暮稍暇，辄亲儒生，讲说礼义，而谦己下贤，老而弥笃，是以荣名令终。今（陈）怀辈坐不亲儒者，不闻善言，安得无过？”
看来，这也许就是徐达能功高不震主，权重不见疑的原因吧。