胡惟庸，鳳陽定遠人，至正十五年（1355年），朱元璋攻下和州後歸附義軍，授元軍府奏差，尋轉宣使。此後，任寧國縣主簿，進知縣。當時太師李善長操縱政權，胡惟庸以黃金二百兩賄賂他，從此青雲直上，先遷吉安通判；至正二十四年（1364年），設湖廣行省，又被提升為湖廣僉事。朱元璋稱吳王，在李善長引薦下，胡惟庸被召為太常少卿，當了沒多久又升為太常寺卿。明朝建立後，更是春風得意，幾年後便位極人臣。洪武三年，入中書省，拜中書參知政事。洪武六年（1373年）1月，右丞相汪廣洋因“無所建白”出遷廣東參政，從這時到同年7月，“帝難其人，久不置相”，胡惟庸以中書左丞“獨尊省事”數月，7月代替汪廣洋升為右丞相。洪武十年9月，又遷左丞相，右丞相仍由汪廣洋擔任。從洪武六年汪廣洋第一次罷相後，中書省的大權實際上由胡惟庸一人獨攬。到洪武十三年（1380年）1月為止，他做了長達七年的丞相。
徐達、劉伯溫極為鄙視胡惟庸的人品，徐達“深疾其奸”，曾多次“從容言於帝”。為此，胡惟庸曾十分想和徐達搞好關係，但徐達憎惡他的為人，根本不答理他。胡惟庸又變換手法，企圖賄賂徐家守門人福壽來加害徐達，但被福壽揭發。當徐達獲知此事之後，並沒有問罪於他，隻是向朱元璋進言，說胡惟庸不具備做丞相的資格。
胡惟庸任相時，淮西集團的政敵楊憲在洪武三年就已被殺掉了，胡惟庸獨相數年，汪廣洋在洪武十年盡管與他同居相位，但汪為人“寬和自守，居相位默默無可否”，在中書省僅僅是“浮沉守位而已”。因此，除了皇帝以外，胡惟庸覺得劉伯溫是對他在政治上唯一構成威脅的人。由於劉伯溫曾與朱元璋論相，胡惟庸更是耿耿於懷，伺機報複，這種艱難處境劉伯溫也深有感觸，隱居青田故裏的時候，為了避禍，每日“惟飲酒弈棋，口不言功”。即使韜晦如此，還是防不勝防，最終被胡惟庸陷害致死。
劉伯溫死後，胡惟庸也沒有放過他的長子劉璉。洪武十年，劉璉做江西參政，朱元璋很賞識他，“常欲大用之”，但後來被胡惟庸的黨羽逼得墜井而死。
可以說，胡惟庸的起家同李善長關聯很大。他出任丞相後，又“以兄女妻其從子佑”，這樣兩家又有了親戚關係，往來越發密切。李善長是淮西集團的領袖，位列勳臣第一，雖然在洪武四年（1371年）致仕，但李家的權勢很大。朱元璋又在洪武九年（1376年）把女兒臨安公主許給了李善長的兒子李琪，李家遂為皇親。朱元璋曾打算立楊憲為相，說：“楊憲可居相位。”楊憲也“數言李善長無大才”。為此胡惟庸對李善長說：“楊憲為相，我等淮人不得為大官矣。”在以李善長為首的淮西集團的迫害下，不久楊憲被判處極刑，罪名是“劾汪廣洋不公不法、李善長排陷大臣、放肆為奸”。從楊憲被治死罪之後，朱元璋“以惟庸為才，寵任之。惟庸亦自勵，嚐以曲謹當上意，寵遇日盛”。在明初“無一日無過之人”的年代，竟能“獨相數歲”，胡惟庸做到這一步實屬不易，說明他十分受朱元璋賞識，但這種賞識，並非是才幹上的賞識，而是朱元璋推行高度集權的君主專製統治所需要的賞識。本來，從人品、學識、才幹上來說，丞相這一職，最合適的人選當屬劉伯溫。朱元璋也曾對劉伯溫說：“吾之相，誠無逾先生。”但這也僅僅是說說而已，從明太祖欲將皇權強化到更高的程度來看，顯然劉伯溫又不是十分適合的。
朱元璋決定罷中書省、廢丞相，是在相權和君權的矛盾日益加劇下形成的。胡惟庸贏得了朱元璋的寵信，驕恣漸露，在朝中有恃無恐，尤其是在劉伯溫死後，“益無所忌”。自己占據丞相之位多年，掌握生殺大權。他不按正常上奏的途徑行事，內宦外宦及各司上奏的文件，都先拿來自己翻閱，對自己有害，就藏起來不予上報。四麵八方急於升官的或是以前丟官的文臣武將，爭相向其獻媚，並以重金賄賂於他，這樣一來，丞相的權勢炙手可熱，恩威震主，對君權威脅極大。朱元璋為此十分不安，他必須考慮政治體製的變革問題而避免大權被人奪取，於是頭腦中便開始醞釀“棄中書省，廢丞相”的念頭。但丞相製度延續了一千多年，廢除它不僅需要相當的時間而且要等待時機成熟。於是繼爭奪相權的激烈傾軋之後，接下來的就是更加殘酷的君權與相權的鬥爭。
其實朱元璋始終打著自己的算盤呢。胡惟庸雖然霸道，但他隻不過是自己的工具而已。一方麵胡惟庸上台極力打擊浙東派，另一方麵，作為淮西人，胡惟庸拉攏自己的小圈子，也分裂了淮西派。他朱元璋不是不想殺胡惟庸，隻是時機未到而已。