因李善長的提攜，胡惟庸於洪武六年（1373年）進入中書省，與汪廣洋同任右丞相，左丞相空缺。胡惟庸入相後，他的精明幹練很快得到朱元璋的賞識。這期間，胡惟庸還將自己的侄女嫁給了李善長的弟弟李存義的兒子李佑為妻，結成姻親，使得他與李善長關係更進一步。有這樣的元老重臣為後盾，胡惟庸更加膽大妄為。加上李善長的舊屬們也極力幫助他，胡惟庸可謂如魚得水。由於他逢迎有術，漸得朱元璋寵信。到洪武十年，進左丞相，位居百官之首，獨攬丞相之權。
隨著權勢的不斷增大，胡惟庸日益驕橫跋扈，生殺黜陟，為所欲為。內外諸司所呈現給皇帝的奏章，胡惟庸全部要先拿過來審視，看到有對自己不利的奏折，就隱匿不上報。胡惟庸權傾朝野，許多人都看他臉色行事，敢怒不敢言。
對於異己者，胡惟庸必定會打擊報複。因入相問題，胡惟庸曾與劉基有過節（劉基不同意胡維庸做丞相）。恰恰劉基家鄉附近有一片空地，一向為鹽梟占據，劉基奏請設巡檢司進行管轄，鹽梟不服，反而聚眾作亂。劉基兒子劉璉將實情上奏，但是沒有按照程序先向中書省報告，掌管中書省的胡惟庸認為劉基蔑視他，越加憤怒，於是唆使刑部尚書吳雲彈劾劉基，誣稱此地有王氣，劉基想據為己有，用來修墓，應嚴加懲處。朱元璋便撤除了劉基的俸祿。劉基憂憤成疾，沒過多長時間就去世了。
對於胡惟庸的所作所為，朱元璋也略有察覺，對他的擅權更是感到不滿。洪武十二年九月，占城國--今天越南中部的一個城市國家，派使臣前來朝貢，朱元璋不知道，等到事情過後，朱元璋問及此事的時候，胡惟庸又與禮部互相推卸責任，朱元璋非常惱火，連下敕書，把宰相跟禮部尚書抓進了監獄。胡惟庸已明顯失寵。大概是揣度到朱元璋的心理，洪武十三年正月，禦史中丞塗節首先告胡惟庸謀反。與此同時，被謫為中書省屬吏的禦史中丞商暠，也揭發了胡惟庸的許多隱私。結果，朱元璋順勢就把胡惟庸處死了。
另外，關於胡惟庸的死還有一種說法：洪武十三年正月，胡惟庸稱他家的舊宅井裏湧出了醴泉，視為大明的祥瑞，邀請朱元璋前來觀賞。朱元璋欣然前往，走到西華門時，一個名叫雲奇的太監突然衝到皇帝的車馬前，緊拉住韁繩，急得說不出話來。衛士們立即將他拿下，亂棍齊上，差點把他打死，可是他仍然指著胡惟庸家的方向，不肯退下。朱元璋這才感到事情不妙，立即返回，登上宮城，發現胡惟庸家牆道裏都藏著士兵，刀槍林立。於是下令將胡惟庸逮捕，立即命廷臣進行審訊，隨即以謀反罪就把胡惟庸處死了。
胡惟庸猝然被誅，是明代開國以來空前大案。據《明史》記載：惟庸既死，其反狀猶未盡露。五年後，洪武十八年，李存義為人首告，免死，安置崇明。二十一年，藍玉征沙漠，獲封績，善長不以奏。至二十三年五月，事發，捕績下吏，訊得其狀，逆謀益大著。會善長家奴盧仲謙首善長與惟庸往來狀，陸仲亨家奴首仲亨、費聚等與胡惟庸共謀不軌。帝怒，肅清逆黨，胡獄坐死之功臣封侯者二十餘人，連及坐誅者三萬餘人，乃為《昭示奸黨錄》布告天下。株連蔓引，迄數年不清。
由於《昭示奸黨錄》失傳，胡惟庸案實情亦無法為後世所悉。不少史家亦認為，胡惟庸謀反一案隻是朱元璋為了誅除功臣，而千方百計尋找的借口，曆史上有無胡惟庸謀反一事，值得懷疑。然而，此案之影響後世者，在於朱元璋罷相的決定。在洪武十一年三月，為了限製宰相的權力，朱元璋就下令凡奏事不得先"關白"中書省。在此之前，凡是各地送給皇帝的奏章都要關白中書省，就是給皇帝一份，同時也要給中書省宰相送一份。現在不需要有這套程序了，大大削弱了中書省的權力。
經過胡維庸一案，朱元璋遂下詔罷相："自古三公論道，六卿分職，不聞設立丞相，自秦姑置丞相，不旋踵而亡。漢、唐、宋雖多賢相，然其中多少人，專權亂政。今罷丞相，設五府、六部、都察院、通政司、大理寺等衙門，分理天下庶務，事皆朝廷總之。以後嗣君，毋得設置丞相，臣下敢以此請者，寘之重典。"從此，中國曆史上便再沒有宰相這個職務了。
朱元璋廢除了丞相，六部直接由皇帝統轄，又以兵部和五軍都督府分掌兵事，刑部、大理寺、都察院分典刑獄，使其互相牽製，一切兵刑大權也都總攬於皇帝。在地方機構中，在全國設十三布政使司（俗稱省）。並把各省的兵、民、錢、穀分別由布政使、按察使、都指揮使管理；布政使掌民政，按察使掌刑，都指揮使掌兵，叫作"三司"。明太祖為了加強監察機構的職能，在都察院下設監察禦史。監察禦史出為巡按禦史，代皇帝巡視地方，彈劾官吏，監察民情。此外，還設立通政司處理臣民的章奏，規定除田土、訴訟之爭，一般民戶皆可上書言事。