胡惟庸是定遠人，與開國第一號功臣李善長的有親戚關係，他依仗著李善長這個後台當上了左丞相。在朝中獨斷專行，官員升降、生殺大事，都自作主張，不向朱元璋請示；朝野內外的報告，凡對自己不利的全扣下來；想做官、升官的人，都奔走他的門下，收受金銀、絹帛、名馬、玩物不計其數。他四處網羅自己的黨羽，培植自己的親信，組織自己的小集團，打擊異己力量，稱霸天下。
一天，胡惟庸的兒子乘馬車在南京城裏招搖過市，不小心從車上跌下來摔死了，胡惟庸判車夫抵命，並處死了車夫。朱元璋知道後，十分氣憤，他非要胡惟庸償命不可，胡惟庸請求，向車夫家人賠償金帛以了此事。朱元璋堅決不準。胡惟庸聽了十分緊張，遂堅定了起事政變的決心。
洪武十三年（1380）正月，胡惟庸入奏，詭稱其住宅中井出醴泉，請朱元璋去觀看。朱元璋好大喜功，信以為真，也就匆匆駕出西華門。他正行進中，突然內使雲奇衝上蹕道，攔住車馬，慌忙中一時說不出話來。朱元璋以為不敬，即令左右侍衛棍錘亂下。頓時，雲奇右臂被砸斷，生命垂危。但他仍用左手直指胡惟庸的宅第搖晃。朱元璋猛然醒悟，急忙返駕登城，遠遠望見胡惟庸宅第中繞有兵氣，以此定胡惟庸謀逆，立即發羽林軍逮捕胡惟庸，將其抄家滅族。隨著明王朝的建立，昔日與朱元璋共同出生入死的將領都已封公封侯，爵高位顯。這些功高震主的將領不免做出恃功驕傲、仗勢欺人之事。為加強皇帝權威，同時顧慮太子朱標忠厚，鎮懾不住功臣名將，朱元璋決定借他們違法之機進行鎮壓。朱元璋又以與胡惟庸交通謀反的罪名殺掉了一大批功臣勳將，甚至連位居“功臣第一”的年邁77歲的李善長以及全家70多人也全部伏誅，整個胡案前後共殺掉3萬多人。
洪武二十五年（1392），太子朱標病故。朱元璋立朱標之子朱允文為皇太孫。朱允炆年輕懦弱，朱元璋對此十分擔憂。為解除後顧之憂，洪武二十六年（1393），朱元璋又興起藍玉獄。大將藍玉是洪武中後期的主要將領，作戰勇敢，戰功赫赫，被封為“涼國公”。但此人居功自傲，驕橫不法。朱元璋加以謀反罪名，興起黨獄，將藍玉斬首並抄斬三族，凡與藍玉關係密切的朝臣，坐黨者則夷滅。藍玉案先後謀殺15000人，功高位顯的元勳舊將幾乎殺個幹淨。這樣，朱元璋利用胡、藍之獄，前後10幾年共誅殺功臣45000人，其殘忍實千古所未有。
朱元璋宣布撤銷中書省，罷除丞相，提高吏、戶、禮、兵、刑、工等六部的地位。由六部分理朝政，直接對皇上負責。並且規定，後代皇帝不得再立丞相，大臣中如果有奏請再立者，處以重刑。就這樣所有的國事就落到了皇帝一個人身上。朱元璋在8天之內，要看內外諸司奏劄1660件，共計3991件事，也就是說平均每天要看或聽200多件報告，處理400多件事，平常人是難以承受這一繁重任務的。再加上激烈的政治鬥爭，使他憂慮江山萬世永固，也迫使他辛勤工作。
洪武三十一年（1398）六月，朱元璋病逝，正因為“勤政”，朱元璋成為曆史上為數不多具有遠見卓識的君主。他一生勤政愛民，實行休養生息的政策，減輕對人民的剝削。因為出生貧苦，深知物力為艱，因此大力提倡節儉，並以身作則、堅持一生。而且他還是一個勤奮好學的君主，從目不識丁到寫詩作賦，其恒心和毅力在帝王中是少見的。但他殘殺功臣，大興黨獄也實屬千古罕見，由此成為曆史上爭議頗多的帝王之一。