胡惟庸案的處理手法也是非常殘酷的。曾任朱元璋帳前黃旗先鋒的俞本，在永樂初年撰寫的《紀事錄》中，對胡惟庸黨案是這樣記述的：
是年（洪武十三年）……左丞相胡惟庸、右大夫陳寧，擅權壞法，俱伏誅於玄津橋，掘坑丈餘，埋其屍，次日複出之，支解於市，縱犬食之。錄其家資，以妻子分配軍士，子弟悉斬之……上以應天府所屬上元、江寧二縣之民與胡惟庸為黨，將男婦長幼悉屠之。
也就是說，把胡惟庸押至玄津橋斬首，埋入一個丈餘深的大坑，第二天又感覺不解恨，命人將屍體挖出，在眾目睽睽之下肢解，然後縱犬食之。財產則全部沒收入官，妻妾分配給軍士，男性後代則全部斬首。與胡惟庸關係親密的大批官員也被處死。甚至朱元璋因為上元、江寧兩縣百姓與胡惟庸關係密切，居然將這兩縣之人，不分男女老幼，全部殺光。其凶殘超出了正常人的想象，然而，對於案中牽涉的功臣，他卻網開一麵：以善長及陸仲亨等皆初起時腹心股肱，置不問。（《朱元璋係年要錄》）胡惟庸與李善長關係十分密切。“素與太師李善長相結，以兄女妻其從子佑，自是勢益熾”。胡惟庸的最初發跡，就是因為李善長的推薦。所以他對李善長感激不盡，“因相往來”，把李善長作為自己向上爬的階梯和保護傘。他不僅將自己的侄女嫁給李善長侄子李佑，還極力幫助李善長打擊非淮西籍大臣。
陸仲亨、費聚等人也是胡惟庸為了培植勢力而極力拉攏的對象。吉安侯陸仲亨自陝西歸，擅乘驛傳，受到朱元璋的怒責。平涼侯費聚，曾經受命到蘇州撫綏軍民。“聚不任事，唯嗜酒色。召還，責往西北招降達達，無功，上亦責之。”這兩個人都因懼怕處罰，而投靠到胡惟庸門下以求庇護。他們與胡惟庸的親密關係，朱元璋心裏十分清楚，但是在公布胡惟庸的罪狀時，他隻含糊地說到胡惟庸有結黨之嫌，並沒有牽及這三位功臣。他宣布的罪狀是：“竊持國柄，枉法誣賢，操不軌之心，肆奸欺之蔽，嘉言結於眾舌，朋比逞於群邪，蠹害政治，謀危社稷。”
非但如此，在胡惟庸被殺後，朱元璋進一步擴大與開國武將的聯姻關係，“因結肺腑”，穩定功臣們的情緒。他親自決定，聘中山王徐達次女為代王妃、三女為安王妃，信國公湯和長女與次女為魯王妃，安陸侯吳複之女與寧河王鄧愈之女為齊王妃，前軍都督僉事於顯之女為潭王妃，靖海侯吳忠之女為湘王妃，永昌侯藍玉之女為蜀王妃，潁國公傅友德之女為晉世子妃，並將汝寧公主嫁給吉安侯陸仲亨之子陸賢，福清公主嫁給風翔侯張龍之子張麟，壽春公主嫁給潁國公傅友德之子傅忠，南康公主嫁給東川侯胡海之子胡觀，永嘉公主嫁給武定侯郭英之子郭鎮。
撤銷大都督府：軍事體製重大改革
對功臣們如此一而再再而三地退讓寬容，原因是朱元璋對文臣和武將的態度、判斷上都有很大區別。在他眼裏，文官這類東西，比如韭菜，割不勝割，毫不值錢。不管怎麼殺，都會有大批新的送上門來。但武將則不是這樣。一個好的將領，是要在大陣仗中磨練出來的，可遇而不可求。他們都是大明帝國不可缺少的寶貴財富，殺掉一個少一個。事實上，在大明開國之後，幾乎無年不用兵，離了他們，他根本無法繼續自己的正常統治。
洪武四年正月，朱元璋命湯和為征西將軍，傅友德為前將軍，分兵兩路伐蜀。
洪武五年，朱元璋以徐達為征虜大將軍，李文忠為左副將軍，馮勝為征西將軍，分兵三路北征蒙古。
洪武八年，元將納哈出進犯遼東，被大將葉旺擊敗。
洪武十一年四月，慶州屯田百戶山丹等起義，朱元璋分遣楊仲明、沐英、王弼等鎮壓。
洪武十三年這個多事之秋，軍事上仍然活動極為頻繁。在這一年，沐英率領明軍，對蒙古進行了第三次北伐。十一月，故元平章（平章為官名）乃兒不花等率數千騎入洮林口，掠永平（今河北省盧龍縣）。
可見直到這一年，朱元璋仍然離不開這些老鄉作他的左膀右臂。
不過，胡惟庸案中，胡氏與一些將軍們的勾結，讓朱元璋膽戰心驚。開國之後，他第一次直接感受到軍事政變的威脅。如果有那麼三五個開國元勳與心險膽大的胡惟庸聯合起來共同起事，他的大明江山還真有變色可能。
文官們對皇權的威脅再大，也沒有武將嚴重。開國功臣和皇帝光屁股長大，一起分享過黃色笑話，深知對方並非什麼神龍天子，不過一介村夫流氓，睡覺愛放屁磨牙，愛摳鼻孔和腳趾頭。他們很難如同其他出身的臣下那樣視皇帝如神明，對皇帝也難免跋扈粗率。這些闖過重重鬼門關的家夥，都有著異乎尋常的膽量魄力和機詐權變。一旦動了染指最高權力之念，會比文官更直接，更有力，更不顧後果。一旦天下有事，他們不會放過“皇帝輪流做”的機會，所以曆代皇帝們對武臣元老們無時無刻不提高警惕。
朱元璋本有多疑的毛病，凡事過分小心。長期的焦慮和強度過大的腦力勞動，使朱元璋患上了嚴重的心理疾病。他經常幻想也許有一天，這座宮殿被人一把火燒掉，子孫妻妾被掠去為奴作婢。一想到這些，他就渾身出冷汗。他成日裏吃不下飯，睡不好覺。看見宮女太監偷偷溜他一眼，他就認為是在盤算他詛咒他；看見文武百官在殿上說話吞吞吐吐，就以為是要欺瞞他。尤其是天黑下來，一個人坐在禁城裏，就揣想別人心裏都在想些什麼？