胡惟庸謀斃了劉伯溫後，更加肆無忌憚，生殺黜陟，為所欲為，他的不法激怒了魏國公徐達，但他的密奏卻沒有被太祖采納，反而被胡惟庸知道了，於是胡維庸再次引為深恨。胡維庸私下裏秘密交結徐達家看門的人，唆使他用揭發的方式誣告其主，不料這個看門的人竟直接將胡惟庸的陰謀告訴了徐達，弄巧轉成拙，胡惟庸深恐祿位不保，驚慌了好幾日，幸而沒有什麼風聲，才稍稍心安。
患得患失，是謂鄙夫。照此說法，胡惟庸這個太祖眼中的能臣倒真是名符其實，不過是個庸才。
胡惟庸日夜考慮與徐達有了閑隙不和，究竟不妙，終於他想出一計，就是想辦法與李善長結為兒女親家，以此得了個靠山。李善長雖已罷相，但在太祖那裏還是很得寵的，時常出入禁中，免不得會給親家公說上幾句好話，有時有人說胡惟庸點什麼，他也代為辯護。李善長在這樣做的當時，做夢也沒有想到，他的這種做法竟然會是他日後的取死之處。而在當時，胡惟庸得了這麼個可靠的護身符，漸漸又驕橫恣縱起來。
那年冬月裏，胡惟庸原籍的舊宅井中忽然生出一根竹筍來，高至數尺，一班趨炎附勢的門客，竟說是靈芝，瑞應非凡。術士李俊幹脆直接就說：“靈芝是皇帝之瑞，將來必出天子。”又有人傳說，胡家祖父三世墳上，每夜都有紅光燭天，遠照數裏。胡維庸因這幾件事，謀亂之心也就越發高了起來。恰是時德慶侯廖永忠，竟然在自家的器具上雕龍刻鳳，太祖聽到檢校的偵報，便以悖逆之罪名，賜令自盡。
平遙訓導葉伯巨上書給太祖，殷殷切切地分析朝事國政，總結了幾點如“分封太侈、用刑太繁、求治太速”，又觸得太祖盛怒，被下獄瘐死。
這兩年事讓內外官吏，岌岌自危。不久太祖又因安吉侯陸仲亨擅自乘坐驛傳、平涼侯費聚招降蒙古無功而還，而將他們兩個都下詔嚴責。胡惟庸乘機勾結他們兩個，聯為羽翼，讓他們在外地收輯兵馬。同時胡惟庸又私下裏交結禦史中丞陳寧，私閱天下兵籍，招勇夫為衛士，納亡命為心腹；一麵又勸說親家李善長，留心謀逆的機會，李善長開始很害怕，因為這可是滅族的大罪，可他秉性優柔少斷，所以態度便就是模棱兩可，以至於胡維庸還以為他也一樣有反朱之心。
胡惟庸還立即就派遣明州衛指揮林賢，下海招納倭寇，又派遣元故臣封績，致書元嗣君，請他作為外應。胡惟庸正在日夜謀變，又接連發生幾起朝臣賜死的事件，於是他益加恐慌也就益加急迫，於是胡惟庸一麵買通塗節作一臂之助，一麵秘密勾結日本貢使，作為事敗的退身步。
元順帝北逃
這時明軍水陸並進，徐達督兵進占青州，元都督達喇花逃跑了，明兵又占了直沽，奪了海口，進軍通州。元順帝聽說通州被圍，知道大勢已去，便召集六宮三院的嬪妃，命駕起了數十乘的大車，把朝事委托給慶童等，然後下諭車駕連夜出了建德門，逃往塞北去了。
徐達督兵陷了燕都，又分兵西略，平了西安諸郡。常遇春也領兵北進，陷了錦州，直逼開平。誰知兵到柳州，常遇春忽然得病，一天重似一天，最後自然就是以逝世而了結了。
常遇春臨終的那天晚上，西南角忽然一聲巨響，空中有一顆大星自上墜落，到了地上轟然一聲巨響後，毫光四射，京城內外的百姓都很為驚異。太史官便飛章入奏，說是將星墮殞，三日內必損折大將。朝中正議論紛紛，太祖極憂慮之際，飛騎便來報常遇春病逝的消息，太祖十分震驚且哀悼，連忙下旨內務府撥銀一萬兩，給常遇春治喪。太祖又親自祭奠，並追贈常遇春為太師太保、上國柱、推誠侵遠功成開封、中書右丞相鄭國公開平王，諡號忠武。常遇春之子常蔭，永遠世襲公爵。常遇春之孫常保森，加大將軍銜封武德侯。常遇春德配夫人蘭氏封開平晉德王妃，女兒常秀貞封儀淑郡主，兒媳王氏封一品忠孝夫人。又命塑常遇春像入忠良祠，春秋致祭，以慰忠魂。