朱元璋建立明朝之後，一直以元朝的弊政作為提醒自己的名言，他多次表態說：“元之大弊：人君不能躬覽庶政，故大臣得以專權自恣。”（《明tai祖實錄》卷五九）從朱元璋稱吳王時期，李善長、徐達就是中書省的右左丞相，但是，到了開國後的洪武四年，朱元璋讓李善長致仕，徐達雖然還一直兼任著中書省的丞相，但是，徐長年領兵在外，並不參與朝政，這時，朱元璋的親信是汪廣洋、楊憲這幾個人，隨後，楊憲被淮西集團構陷遭殺頭，汪廣洋成為朱元璋的實際辦事的丞相，朱元璋把他比作張良一流的人物。此時，胡惟庸進入了宰執的行列。
胡惟庸是在朱元璋起兵後的第三年投靠的朱元璋，他是安徽定遠人，是淮西集團核心的籍貫，李善長也是定遠人，沐英也是定遠人，當時有人寫詩比喻淮西集團是：馬上短衣多楚客，城中高髻半淮人。胡惟庸在朱元璋手下混了十二年也才做到縣主簿，但是，後來由於李善長的援引，很快被提拔到了中書省參知政事，而後又代替汪廣洋出任中書省左丞，楊憲死後，胡惟庸逐步得寵，朱元璋問策於劉伯溫關於宰相的人選時已經把胡惟庸列在其中，這還是洪武三年之前的事情，可見，胡惟庸當時在朱元璋的眼中的地位了。
但是，包括胡惟庸、李善長在內都不明白朱元璋的本意，朱元璋其實早就不想設置宰相了，他之所以讓李善長罷相，貶逐汪廣洋，並不是為了給胡惟庸騰出空間，而是給自己兼任宰相製造口實，這點隻有聰明的汪廣洋讀懂了，所以，朱元璋讓他回來做右丞相以鉗製胡惟庸的時候，汪廣洋隻是喝酒，不問政務，聯係到汪廣洋之前的“屢獻忠謀”，幾乎很難令人理解，而實際上，汪廣洋看透了朱元璋的本意，也正為此，朱元璋後來才下決心整死汪廣洋。
胡惟庸之所以被提拔重用，並不完全是李善長的功勞，朱元璋在用人行政上從來都是不肯假手與人的，何況像宰相這樣重要的位置，朱元璋雖然依靠淮西集團起家，但是，一旦大功告成，這個羽翼豐滿的政治軍事集團就成為朱元璋在背的芒刺，必欲除之而後快。李善長是淮西集團的文臣的頭子，經年經營地盤，已經形成了獨特的政治勢力，所以，朱元璋雖然口頭上說善長“功甚大，宜進封大國。”而暗中則指使汪廣洋、陳寧彈劾李善長，敗壞李善長的政治聲譽。胡惟庸不過是朱元璋原來帳下的一個文書，朱元璋正是看中了胡惟庸並無黨羽而且又是李善長陣營的力量，才決定把胡惟庸抬起來以製約善長的，然而，他沒有想到胡惟庸居然不能體會皇帝的本意不過是想把宰相變成高級秘書、幫辦的宏偉戰略意圖，反而加緊和李善長搞好個人關係，這讓朱元璋不能不緊張，不能不惱火，不能不重視了。史稱胡惟庸“嚐以曲謹當上意，寵遇日盛，獨相數歲，生殺黜陟，或不奏徑行。內外諸司上封事，必先取閱，害己者，輒匿不以聞。四方躁進之徒及功臣武夫失職者，爭走其門，饋遺金帛、名馬、玩好，不可勝數。”胡惟庸的所作所為和朱元璋的骨子裏的的指導思想“至尊之位，操可致之權，賞罰予奪，得以自專”已經完全南轅北轍了，皇帝不殺他已經不行了，有點時不我待的感覺。
朱元璋的步驟很緊湊，先是殺了他一直覺得不對勁的汪廣洋，然後讓塗節上表告變，說是胡惟庸聯絡陳寧等人準備造反，就此殺掉了一大批功臣宿舊，包括依附胡惟庸的官員和六部官屬。大小官員被處死者多至一萬五千餘人，而後在洪武十九年窮治胡黨，竟然編造出了胡惟庸通倭的證據，就此又殺了唐勝宗、陸仲亨、費聚、趙庸，最後連李善長也成了胡黨最後的黨徒。其中，吉安侯陸仲亨十七歲開始追隨朱元璋起義，朱元璋說他是“此我初起時腹心股肱也”，而後在所謂的謀反審訊過程中，朱元璋明明知道陸仲亨並不是什麼真正意義上的大逆不道，仍然自己編造了一個借口說：“朕每怪其居貴位有憂色”這簡直就是莫須有的罪名了。平涼侯費聚連兒子費超的命都給朱元璋賠進去了，反過頭來還要被朱元璋說是胡黨，朱元璋說費聚是“聚曩使姑蘇不稱旨，朕嚐詈責，遂欲反耶！”陳年的老帳都翻了出來，可見，費聚不死都不行。這點就是《明史》作者都看不過眼去。
在胡惟庸死後，朱元璋毅然廢除了丞相製度，暴露出他蓄謀已久的真實想法。
李善長的弟弟李存義雖然和胡惟庸有姻親的關係，但是，並沒有把李善長牽連進來，隻是貶斥了李存義而已，但是，李善長不知是什麼緣故居然沒有謝恩，這讓朱元璋老大的不快活，聯係到洪武初年李善長的種種驕橫的做法，朱元璋準備對李善長動手了。
^^^^^^^^^^^^^^^
對付李善長這樣的功臣第一，自然不能向對付胡惟庸那樣簡單，偏偏李善長因為建造府邸的緣故向湯和借了三百人使用，讓湯和給告發了，善長又給丁斌求情，這讓朱元璋抓住了把柄，用嚴酷的刑訊逼供丁斌，得出了李存義奉了胡惟庸的口信請李善長加入謀反同盟的所謂的證據，還有李善長不舉報胡惟庸勾結倭寇的旁證，總之，一個家奴居然把主人在密室內說的話都舉到了禦前。
朱元璋這樣才從容的下命令說：善長元勳國戚，知逆謀不發舉，狐疑觀望懷兩端，大逆不道。然而，還是不殺善長，直到有司說星變，需要殺大臣消災，於是，善長為了朱元璋做了最後一次貢獻，全家七十多口人同時被殺，李善長時年已經是七十七歲的人了，賜死給予全屍，算是朱元璋對這位開國輔運推誠守正文臣、特進光祿大夫、左柱國、太師、中書左丞相，封韓國公，歲祿四千石，子孫世襲。予鐵券，免二死，子免一死的“與陛下同心，出萬死以取天下，勳臣第一，生封公，死封王，男尚公主，親戚拜官，人臣之分極矣”的多次稱之為“賽蕭何”的最大的功臣的酬勞。
整個案件看，這一切似乎是因為胡惟庸的謀反案。對於這件案件，《明史》記載，李存義父子是這樣供認的：胡惟庸想造反，便使親家李存義去遊說李善長，李善長起初大驚，說這是滅九族的勾當啊。不久胡惟庸又派李善長的老友去勸誘，說事成之後當封其為王，善長“不許，然頗心動”。後來胡惟庸親自出馬，善長“猶不許”。過了一段，胡惟庸又讓李存義去勸說兄長，李善長歎了一口氣說：“我老了，等我死後，你們想怎麼幹就怎麼幹吧。”僅此似乎還不足定案，很快，在李善長家的幾個奴仆，也紛紛告發李善長和胡惟庸的陰謀。“大逆不道”的罪名終於成立，有意思的是連老天也示意李善長該死了，《明史》上說，李善長剛剛定罪的時候，星相學家“言星變”，卜了一卦，說上天示意要“移大臣”。須知，因天象的異變殺人，也是中國曆史上的老譜，唐末時，一個依附軍頭的權相，就是以這種理由來清除他不喜歡的二十多位同僚的，結果“朝班為之一空”。現在李丞相既然也到了天厭之的份兒上，還有何說？皇帝當年親賜的那個可以免二死的“鐵券”，也成了一張廢紙，……
總體來，李善長似乎也可以的定上被“謀反”的罪名，但細心人一看，卻是不然，這一切，很容易讓人忽視一個很重要，很重要的問題，那就是李善長的封賞。
第一次在至正二十四年（1364），朱元璋自立為吳王，拜李善長為右相國，時猶承元製尚右。李善長明習故事，裁決如流，又擅長辭令，朱元璋有所招納，往往由他代草。幾次大的戰鬥如西克江州（今江西九江）、兩平洪都（今江西南昌）、援安豐（今安徽壽縣南、安豐塘北）、討廬州（治所在今安徽合肥）、下武昌，都由李善長留守，將吏帖服，居民安堵。前方戰事頻起，命將四征，百萬供給，皆由李善長轉調。又請征兩淮鹽稅，立茶法，皆根據元製而去其弊政。不久複請製錢法，開鐵冶，定漁稅，“國用益饒而民不困”。
吳元年（1367）九月，平吳，論功封李善長宣國公，改官製，尚左，以為左相國，賞賜無算。時懲元縱弛，頗用重典，法律有三條關於“連坐”的款文，李善長建議除大逆以外皆免之，朱元璋遂命他與劉基等裁定律令，頒示中外。不久，李善長又率群臣上表勸朱元璋即帝位，朱元璋稱帝後，命李善長為大禮使，定追封祖、父及冊立後妃、太子、諸王等事宜。置東宮官屬，李善長兼太子少師，授銀青榮祿大夫、上柱國，錄軍國重事，餘仍舊。不久，又上奏定六部官製，議官民喪服及朝賀東宮儀式。監修《元史》，主編《祖訓錄》、《大明集禮》等書，製定朝臣大小服色俸賜、天下嶽瀆神祗名號、封建藩國及功臣爵賞，存恤國初都先鋒、十大元帥、都尉、指揮、陣亡無後者之父母妻，禁淫祀。總之，明初國家草創，百廢待興，各種典章製度，事無大小，皆由李善長和劉基、宋濂及其他儒臣共同商量、斟酌製定的。