洪武十八年（公元1385年），有人控告李存義父子實際是胡黨分子，應該處死。由於李善長的關係，太祖下詔免李存義父子的死罪，隻是將他們安置到崇明一帶。李善長卻沒到太祖那裏謝恩，明太祖很不高興。洪武二十三年（公元1390年），李善長已是一位77歲高齡的老翁了，他想要建造豪華府第，就從信國公湯和那兒借來三百名士兵。湯和暗中告訴了太祖，太祖有疑慮，不知李善長要那麼多士兵搞什麼名堂。四月，丁斌犯罪要發配邊疆，他與李善長有親戚關係，李善長就多次向太祖為丁斌求情。太祖執法如山，對李善長看重私情的做法也很反感。
後來，又有人向太祖告李善長的狀，說：“大將軍藍玉有一次到邊塞戍守，來到捕魚兒海那個地方，偶然間截獲了一份情報，原來胡惟庸私通元朝殘餘勢力，企圖合兵謀叛。藍玉迅速將詳情呈報給李善長。李善長和胡惟庸有密切的交情，又有親戚關係，所以李善長就把胡惟庸私通謀叛一事匿而不報。連萬歲您都不知道，他的確犯有欺君之罪啊！”禦史台的官員也趁機紛紛上奏，揭發李善長的罪狀。就連李善長的家奴盧仲謙等，也狀告李善長和胡惟庸相互賄賂，並常在一起暗中議事，有圖謀不軌的跡象。太祖對李善長的不滿轉變為嫉恨，便萌發了殺他的念頭。太祖認為，李善長既是開國功臣，又是皇帝國戚，卻對胡惟庸的謀反企圖遮遮掩掩，真是對自己不忠不義。
不久，有大臣麵奏太祖，說近期星相大變，經占卜知道，將有大災降臨，須殺掉一些大臣來消災，不然，國家會有大難。太祖會意，知道這是在請求殺掉李善長。於是，太祖以李善長同胡黨一道，暗地勾結北元企圖謀叛的罪名，逮捕了李善長。洪武二十三年（公元1390年）五月的一天，李善長被賜自縊而死。犯謀逆罪當連坐，因而李善長的妻女弟侄家口七十餘人也被株連斬殺。李善長死時，已是一位白發蒼蒼、行走不便的老翁了，他怎能有精力謀叛？而且家口七十餘人也因此慘遭殺戮，豈不太冤了？值得慶幸的是，李善長還算是後繼有人。他的兒子李祺是皇上的駙馬，因而未被株連進去。李祺夫妻遷居江浦一帶，不久也死去了。而他們的兩個兒子李芳、李茂，因母親貴為公主，保全了性命，而且還做了官。李芳任留守中衛指揮，李茂任旗手衛鎮撫。這也算是李善長一家不幸之中的萬幸了。
時人奏諫冤案漸明
明太祖朱元璋是一位馬上皇帝，他的許多文武官員都曾隨他長期征戰沙場，立下赫赫戰功。這些開國功勳自然會萌生居功自傲的情緒，有不少公侯將相還曾是太祖早年時的故舊，也常做出違法的事情來。這都對太祖的皇權造成了威脅，這是太祖所無法容忍的。朱元璋是一位權力欲極強的皇帝，從建立明王朝以來，他就注意加強皇權，鞏固自己的朱氏王朝。當他感到宰相胡惟庸有謀逆企圖時，就堅決地鎮壓了這次未遂叛亂，並將與胡惟庸稍有關聯的人都一律劃為“胡黨”，加以無情的誅滅。
明太祖是在艱苦的戰爭環境中成長的，養成了他嗜殺的習性。他主張以猛治國，運用特務機構和酷刑來威懾臣民。他的皇太子朱標生活在太平環境中，長期受儒家教育的影響，為人忠厚，主張仁恕之道。太祖深知，憑朱標的性格能力，難以應付文武功臣驕橫不法的局麵。所以他要在有生之年，殺盡所有對朱標的統治可能構成威脅的朝臣。
據載，有一次，皇太子朱標勸諫太祖：“父皇您殺人太多了，弄得人人自危，恐怕不合適吧？”太祖隻是瞪了他兩眼，未作聲就拂袖離去。到了第二天，太祖把朱標喊到身邊，故意將一條棘杖放在地上，叫朱標拿起來。朱標麵有難色，不知如何是好。太祖於是嚴肅地教訓他：“怎麼樣？你怕有刺紮手，是吧？我現在要把這些刺都給去掉，然後再交給你，不就很容易地拾起來了嗎？我所殺掉的都是天下有刺的壞人，隻有除掉他們，你才能順利地當這個家。”皇太子朱標卻反駁道：“上有像堯舜一樣賢明的國君，下才有像堯舜一樣有德行的臣民啊！”太祖聽後十分惱火，認為兒子在諷刺他無堯舜之德，就拿起身邊的椅子，要砸朱標，朱標隻好逃走。此事盡管未必真實，但從側麵反映了太祖為了太子將來能坐穩皇帝寶座，企圖將這些功臣都斬盡殺絕，不給太子留一點“刺”。李善長等人就是這些可能會危及太子皇位的“刺”，因此，他們的死就並非偶然了。
明初洪武時期的文武大臣，多依附於某一派係集團，各派係鬥爭十分激烈。其中淮西派占據優勢，太祖朱元璋和徐達、李善長、胡惟庸、湯和等都是淮西人。浙東派官僚則以劉基為代表，在各政治派係中屬於少數派。淮西派與浙東派官僚間結怨甚深，而淮西派內部也有一些矛盾。同時，還有其他官僚集團與淮西派間的矛盾。在各派政治派係之上，皇帝牢牢控製著國家的大權，他便利用各派係間的矛盾，重用淮人，又用非淮人來監視淮人，加強和鞏固皇權。