朱元璋當皇帝的30年中，還公開鎮壓了幾起大貪汙案，其中最大的是郭桓案。郭桓案發時為戶部侍郎。洪武十八年（1385），禦史餘敏等告發北京承宣布政使司、提刑按察使司的官吏李彧、趙全德等人，夥同郭桓等人貪汙舞弊，吞盜官糧。朱元璋抓住線索，命令司法部門依法嚴加追查。這個案子後來又牽連到禮部尚書趙瑁、刑部尚書王惠迪、兵部侍郎王傑、工部侍郎麥誌德等高級官員和許多布政使司的官員，貪汙盜竊的錢折成糧食達2400多萬石。案件查清後，朱元璋下令將趙瑁、王惠迪等人棄屍街頭。郭桓等六部侍郎及各地方政使司以下的官員有上萬人被處死。有牽連的官吏幾萬人被逮捕入獄，嚴加治罪。各地卷入這個案件的下級官吏、富豪，被抄家處死的不計其數。
為了加強對臣民的監視和控製，朱元璋專門設立了巡檢司。當時，全國各府縣的關津要衝之地，都由巡檢司負責把關盤查，緝捕盜賊，盤詰奸偽。百姓如果要到百裏之外去，事先必須辦理路引，否則就通不過關卡。
洪武十五年（1382），朱元璋又正式把自己身邊負責警衛事務的親軍都尉府（前身是拱衛司）改為錦衣衛。秘密偵察大小官吏的活動，隨時向朱元璋報告社會上不公不法之事。同時，還授予錦衣衛以偵察、緝捕、審判、處罰罪犯的一切大權。在錦衣衛內設立了特殊的法庭和監獄，將錦衣衛變成正式的特務機構。
朱元璋在位的30多年間，特務多如牛毛，遍布街巷路途，嚴密監視著朝野內外、文武官員的活動，然後向朱元璋報告。
大學士宋濂一次在家設宴招待客人，第二天朱元璋問他，“昨天請客，喝酒了嗎？做的什麼菜？”宋濂如實做了回答。朱元璋笑道：“說得對，沒騙我。”
國子監祭酒寧訥一天在家暗生悶氣，偷偷監視他的特務竟把他這時的樣子畫了下來，上報皇上。朱元璋見了宋訥問道：“昨天你在家生什麼悶氣呀？”宋訥照實做了回答。他吃驚地問朱元璋如何知道此事？朱元璋將畫像遞給他，他展圖一看，方才醒悟，慌忙磕頭謝罪。還有一大臣一日無事，在家與妻妾玩麻將，無意中丟了一張二萬，怎麼找也找不著。第二天上朝，朱元璋問這個大臣昨天在家幹什麼，該大臣如實說是在家與妻妾玩牌，請皇帝恕罪。朱元璋聽後說：“卿不欺我，朕不怪也。”說完從袖中摸出一張二萬扔給了他。
這樣一來，文武百官不管是在朝還是回家後，個個小心，人人自危，時刻處在緊張的氣氛中。
加強集權鏟除功臣
建國以後，朱元璋借鑒曆史上成敗治亂的經驗教訓，大刀闊斧地開始了以改革舊製、建立高度中央集權為目標的宏偉事業。
朱元璋的體製改革是首先從地方機構開始的。元朝地方設置的行中書省，是從中央的中書省分設出來的。職官的設置同中央中書省一樣，掌管著一個省的軍政、民政、財政和司法等大權，地位顯赫，權力很大。實際上一個行中書省，就是一個小獨立王國。朱元璋想要把地方的權利收歸中央。
在一番準備之後，朱元璋於洪武九年（1376），下令廢除了地方上的行中書省，改設承宣布政使司，簡稱布政司。布政司設左、右布政使各一人。其權力範圍也隻限於民政和財政，按照皇上的意誌管理地方政事。當時全國共設13個布政司。同時，地方上還設置了管理軍事的都指揮使司和管理司法的提刑按察使司。三個機構彼此既各自獨立，又相互牽製，同時直接聽命於皇帝。從而把行中書省權力一分為三，改變了元代中央權力分散和地方權力過大的強枝弱幹局麵，使地方權力牢牢掌握在皇帝手中。
實現了對地方行政機構的改革之後，朱元璋又開始集中精力對中央政府機構，首先是總攬天下政事的中書省實行改革。本來中書省在中央的各個權力機構當中，位置最高。其行政長官左、右丞相，又負有統率百官之責，權力很大。明初的第一任左、右丞相分別是李善長和徐達。李善長為人處事，向來以小心謹慎著稱。徐達則較多時間是帶兵征戰在外。他們都沒有與皇上朱元璋形成大的矛盾衝突。但相位傳給胡惟庸之後，他獨攬大權，朱元璋不能容忍相權對君權的威脅，決心廢除丞相，把大權掌握在自己一個人手裏。