丞相胡惟庸当初任宁国知县，因为李善长的推荐，又被提升为太常少卿，后任丞相，两人因此互相往来。而李善长的弟弟李存义之子李佑，又是胡惟庸的侄女婿，公元1380年，胡惟庸因谋反被诛，被牵连处死者甚多，李善长仍然如故，没有受到牵连。这时，御史台缺中丞，李善长暂理御史台事务，多次向朱元璋提出建议。公元1385年，有人告发李存义父子实为胡惟庸的党羽，朱元璋下诏免死，将他们安置在崇明，李善长没有表示感谢，朱元璋因此怀恨在心。又过了五年，李善长七十七岁，已年老约束不了部下了。这年四月，京城有百姓受牵累迁徙边疆，李善长屡次请求赦免其亲戚丁斌等人。朱元璋大怒，将丁斌治罪。丁斌以前是胡惟庸家的给事，他供出李存义等过去与胡惟庸互相交往的情形。于是朱元璋下令将李存义父子逮捕审讯，他们的供词牵连到了李善长，供词上说；“胡惟庸企图谋反，派李存义暗地里劝说李善长。李善长惊叱道：‘你这么说到底为了什么？你们一定要慎重，否则九族都要被灭。’不久，又派李善长的老友杨文裕去劝他说：‘事成之后，当以淮西之地封你为王。’李善长惊骇不已，仍不同意，却又颇为心动。胡惟庸于是亲自去劝说李善长，仍然不同意。过了一段时间后，胡惟庸又派李存义去劝说，李善长叹道：‘我已经老了。我死后，你们好自为之。’”有人又告发李善长说：“将军蓝玉率军出塞，到捕鱼儿海时，俘获胡惟庸私通沙漠使者封绩，李善长却匿而不报。”于是，御史竟相上奏弹劾李善长。而李善长的奴仆卢仲谦等也告发李善长与胡惟庸之间互相贿赠，经常偷偷私语。证据确凿，说李善长虽是元勋国戚，知道有叛逆阴谋却不揭发检举，是徘徊观望，心怀两端，大逆不道。当时正好有人说将要发生星变，会有灾祸发生，占卜的结果是灾祸应当降临在大臣身上。于是，朱元璋便将李善长连同其妻女弟侄等全家七十余人一并处死。吉安侯陆仲亨等人，都同时受胡惟庸牵连而死。朱元璋亲自下诏罗列他们的罪状，加在狱辞里面，编纂成《昭示奸党三录》，布告天下。
清初怪才金圣叹被腰斩，临刑前给家人写信时说：“杀头至痛也，藉没至惨也，而圣叹以无意得之，不亦异乎！”李善长虽是明朝开国文臣第一，但肯定没有金圣叹这样的才情，大祸临头时断然写不出这样有几分黑色幽默的“妙语”，然而有一点是清楚的，他遭此奇祸也是“无意得之”。不过，以他宦海沉浮数十年的阅历，以他对“伴君如伴虎”这句名言的深刻体验，我们有理由相信，在惨案暴来之前，李善长应该有一种强烈的不祥之感。否则，李善长就一定是一个白痴。
避祸无门的李丞相
李善长，安徽定远人，和后来也做过丞相的胡惟庸是小同乡，和朱元璋是大同乡。按照《明史》的记载，这个人“少读书有智计，习法家言，策事多中”。此处的用词有些意思，“少读书”是说他受过一些基本的教育，而这种教育肯定是儒家的；下面又说他“习法家言”，即表明李善长不是通常意义上的儒生，那种儒生有强烈的道德责任感和受命于天的使命感，常常认为天地间有他这一号人物，就是来“上致君于尧舜，下救民出水火”的，而爱“习法家言”的人则往往世俗得很，他们热衷于仕宦和富贵，并且为达目的常常不择手段。
从史实看，李善长的确就是乱世中一个很世俗的人物，他有计谋和手腕，希望以此换得功名利禄，并荫及子孙，而儒生常有的导君于正、匡扶社稷的理想，在其头脑中，是相当稀薄的。
在李善长最初投奔朱元璋的时候，他就是一个口袋里装着锦囊的策士面目。朱元璋问他，有什么办法可以平定天下，他回答说：“应该向秦末大乱中起家的汉高祖刘邦学习，刘邦同样是一介草民，但他豁达大度，知人善任，不乱杀人，仅仅五年，便成就了帝业。您是濠（今安徽凤阳）人，距汉高祖的老家沛县（今江苏沛县）不远。山川王气，就应在您身上，只要您效仿刘邦，天下一定是您的。”李善长是不是真的特别关心乱世中的人命，是值得质疑的，在我看来，他口袋里装着的肯定不止一个锦囊，他之所以打开“不嗜杀人”这个锦囊，多半原因是他摸准了这个锦囊很对面前这位雄心勃勃、一心要夺取天下的主子的脾胃。朱元璋果然大喜，让李善长在军中“为参谋，预机画，主馈饷，甚见亲信”。“为参谋，预机画”是做智囊，“主馈饷”是负责后勤补给。如果知道汉代萧何就是靠为刘邦转运粮饷而摘得第一功，进而荣升丞相，当能明白李善长对朱元璋夺天下所起到的重要作用。
至正十二年，二十五岁的朱元璋投奔郭子兴的麾下，凭自己的见多识广和聪明才智得到郭子兴的赏识，在很短的时间内白手起家，改编了近三万人的有组织的队伍，使人刮目相看。朱元璋的一举一动皆在李善长的密切注视之中，他佩服朱元璋的胆识和智谋，他当机立断，把家事稍作安排便去追寻朱元璋队伍。至正十四年，四十二岁的李善长身着书生服装在朱元璋去滁州途中找见了朱元璋并请求召见。朱元璋听说来者是定远知名人士李善长，不禁大喜。李善长深知他要如何去打动朱元璋，他与朱一见面，作揖之后便一言不发，对朱元璋的相貌审视起来，然后，突然兴奋地说：“总算天有日民有主了。”一句话就紧紧抓住了朱元璋的心。朱元璋急于听个明白，李善长也有满腔计谋要当面陈述，于是两人越谈越投机。李善长特别详细地讲述出身微贱的汉高祖刘邦取天下的故事，使朱元璋听得入迷。朱元璋问：“依先生看，这四方的战乱什么时候可以结束？”李善长略作沉吟，随后慢慢地说：“汉高祖虽然出身在布衣家庭，然而豁达大度，知人善任，不图眼前富贵享乐，不烧杀抢掠，五年便成就帝业。今天的时局，与秦末状况很有些类似，只要主公效法汉高祖，天下很快就会平定。”李善长的一席长谈，不但鼓起了朱元璋的雄心，还对他后来的事业产生了深远的影响。朱元璋即以当今的汉高祖自命，事事处处模仿刘邦的榜样。在他认为，李善长的到来，很可能就是萧何的转世。于是他任命李善长为记室(秘书官) ，所有机密谋议都认真听取李善长的意见和建议。朱元璋还要李善长担负起协调诸将的责任，说：“方今天下大乱，群雄四起，没有如先生这样有智谋的人是不行的。我见群雄中管文案与参与谋议的人常常利用机会毁谤左右的将帅，搞得人心离散，以致于败亡。但愿先生以此为戒，协调诸将，同心同德，共取大功。”
此后，李善长就成了朱元璋的臂膀和心腹，担负起军师和大总管的重任。
朱元璋攻破滁州后，郭子兴不久也来到滁州，他见朱元璋一下搞到如此多队伍，而且号令严明，军容齐整，相比之下，他手下的兵士则散漫无纪，这就令他在自惭形秽的同时，微微有些嫉妒之意，便设法要削弱朱元璋的实力。郭子兴采用威胁利诱的方法挖掉了朱元璋手下一批将领和精干的办事人员，还私下给了许多好处。形势迫使李善长必须马上作出决定和抉择。经过冷静分析，李善长认为，就郭子兴的性格和双方的实力对比，郭子兴不敢轻易对朱元璋下毒手，只要他自己能顶住，就可以稳住队伍不被瓦解。而朱元璋目前的危局恰好是对他忠诚的考验。主意一定，他就去找朱元璋商议。他先把郭子兴同他的谈话全盘托出，朱元璋说，既然是主帅的命令，怎能违抗？李善长声泪俱下，向朱元璋表示决不离开，这使朱元璋深为感动。李善长告诉朱元璋，消除郭子兴的猜忌办法有三条：一是走外线，一是走内线，一是走下线。外线就是主公尽可能地对子兴表示恭顺；内线，就是让夫人多送些金银珠宝给尊岳母张氏；至于下线，就是联络疏通子兴的旧将，这个由李善长去做。元璋、善长分头依计而行。气量小耳朵软的郭子兴果然转怒为喜，子兴的旧将多半是些粗人，能和声望很高的大能人李善长称兄道弟亲热攀谈，自然高兴，再听善长讲些历史故事，替他们描绘一幅幅锦绣前程的幻景，也觉得与朱元璋作对无好处。这样，人心逐渐转向朱元璋。
为逐步适应不断扩大的战争规模，建立相应的社会秩序，某些官制、律令经李善长的手也逐步出笼：在建立江南行省的同时，还建立了营困司，专门负责水利工程的疏浚整修，康茂才、叶深、间溢等干练的人都曾被委派主持其事，这对于防止水涝灾害、保证农业的生产丰收起了极大的作用；在地方驻军中，普遍推行了军屯制度，使部队边战边耕，争取粮食的自给或半自给，以减轻百姓的负担，屯田积谷是历代战乱中解决军食寻求军队自身发展的好办法，朱元璋的最后胜利也得力于该措施的推行；在新归附的地区，还建立了管理军民万户府，从老百姓中选拔武勇壮丁，编为军户，农时耕种，闲时练武，一方面负责地方治安，一方面配合正规部队作战，即增强了军事实力，又省去了政府的军事供给，把兵农很好结合了起来。为增加政府的财政收人，李善长还于至正二十一年建议制定盐法、钱法及茶法。盐法规定，严禁私盐，设官盐局实行专卖。令商人贩运，取税二十分之一，后来一度增加至十分到一。钱法，就是政府设局铸钱。茶法也是为解决财政困难所采取的一种专卖政策。这三种法制规定都是与商人争利，在当时的环境中是相当必要的。
筹饷理财之外，粮食草秣军械器仗的供应运输也是一项巨大的工程。朱元璋奠基应天(今南京)后，仗越打越多、越打越大。为保证胜利，朱元璋亲到前线指挥，应天大后方的一切都由李善长全权负责，除日常事务外，最重要的就是保证前方的军需供给。善长做事明肃敏捷，裁决如流。碰到危急情况，他总是镇定自如，使属下的文臣武将紧张有序地工作，避免引起不必要的惶恐和慌乱。他想尽一切办法保持运道的畅通，及时供应粮草器械，使朱元璋和前方将士消除了后顾之忧，为战争的胜利起了后方保障作用。
李善长的这种重要作用，是得到了朱元璋认可的。洪武三年，大封功臣，朱元璋说李善长虽然没有在战场上的军功，但“给军食，功甚大，宜进封大国”，乃授太师、中书左丞相，封韩国公，岁禄四千石，子孙世袭。除了这些，朱元璋更赐给李善长铁券，“免二死，子免一死”，即李善长本人凭此铁券，可以赦免两次死罪，其子可以赦免一次。当时封公的六个人中，李善长名列第一，朱元璋颁发的“嘉奖令”上，李善长被比作汉代的萧何，其风光在洪武功臣中独一无二。
开国丞相李善长，荣耀20年即洪武二十三年，70多岁的李善长却与妻女弟侄70余口，一起被冤斩，故居被抄毁。从此以后，李善长的故居与后裔成为未解之谜。据《明史·李善长》传记载：“李善长，字百室，定远人。少读书有智计，习法家言。策事多中。”明、清旧志与故老传说：“李善长家住簧学巷。”查明史善长本传：洪武四年，善长有病致仕退休，朱元璋赐临濠地若干顷，置守家户一百五十，给佃户一千五百家，仪仗二十家。元末明初，濠州下属临淮（今临淮关）、临濠（今定远）两县（当时无凤阳建置）。所赐田产、守家户、佃户、仪仗户当在定远，此故居也当在簧学巷内。簧学巷在定城南边，西从丁字街，东至东城墙，北靠东后街，南临小南门，东西长约二里，南北宽约一里，在此方圆约四里的地方，何处是李善长故居遗址呢？明朝嘉靖时，邢部尚书王世贞的一首诗给我们提供了佐证。诗题是《过定远问功臣遗址》，诗云：“甲第杳非故，子城余至今。烧痕寒不泯，沙色昼常阴。无复风云迹，偶然天地心。孝陵回首外，紫气一何深。”一从诗题看，“过定远”是指经过定远县城，并不是定远县境；“问”是指访问定城知情人员；“功臣遗址”是指居住定城的明朝开国功臣遗迹。二从李、胡二家均住定城看，据明、清旧志记载，居住定城除李善长外，还有当过权相的胡惟庸。王世贞是明朝大官身份，时近知情，深知胡惟庸谋反有据，李善长被诛含冤，根本不会写诗凭吊胡惟庸。三从诗义看：昔日繁华甲第没有了，现在只看见大城内的一座小城了；被火烧毁的墙壁还残留着痕迹，在寒风中尚未泯灭；用细沙铺筑成的走道已经铺满青苔，长满蓬草，即使在白天也给人阴森森的感觉。