明洪武元年（1368）正月，朱元璋於應天府（今江蘇南京，即皇帝位，是為明太祖。明朝建立之初，官僚機構設置基本沿襲元朝，於中央設中書省，由左右丞相（初稱相國）總理禮、兵、刑、工六部事務。地方則設行中書省，總理地方軍政事務。另於中央設禦史台，為監察機構。
朱元璋在認真總結元朝滅亡原因時，認為“委任權臣，上下蒙蔽”①是導致元朝統治衰敗的重要根源。為此，他著手對所承襲元朝的現行官製進行重大的改革。
洪武九年（1376），強化明朝統治的改革首先從削弱地方權力開始。朱元璋下令撤銷行中書省，罷免平章政事及左右丞，而將全國分為浙江、江西、福建、北平、廣西、四川、山東、廣東、河南、陝西、湖廣、山西十二個布政使司以及南京直隸區，共計13個行政區劃，洪武十五年（1382），又增置雲南布政使司（明成祖朱棣遷都北京［原北平布政使司治所］，後遂改北平布政使司為北京直隸區，尋複增置貴州布政使司，於是便為兩直隸區、十三布政使司），簡稱布政司。於布政司分置承宣布政使，職掌地方民、財兩政；提刑按察使，職掌地方司法刑獄；都指揮使，職掌地方軍事防務。三職互不統屬，各自直屬朝廷有關機構。三職合稱“三司”，將原來無事不統的行省權限，分為軍、政、司法的三權分立，以此避免地方官長的事權專擅，利於中央對地方的控製和集權。
布政使司區劃之下，簡化為府（或直隸州）、縣（或屬州）兩級，分設知府、知州、知縣為長官，均由朝廷任免。縣以下劃分為裏甲，凡110戶編為一裏，設裏長主管錢糧之事，裏甲主管差役派征之事，裏書主管稅糧等事。裏下設甲，一甲10戶，輪流充任甲長。城鎮都市中則分坊、廂，有坊長、廂長。裏、甲、坊、廂長皆由官府指任或選派。明朝由此形成了由中央到地方十分嚴密的統治網，有效地將臣民百姓控製在網中。
廢置行中書省後，地方軍、政、財及監察司法諸權悉收歸朝廷，皆集中於中書省，於是作為總領中書省的丞相之權益發膨大，這與朱元璋的本意相悖，君權與相權的矛盾隨之突出，且日趨尖銳。朱元璋認為丞相的設置弊端尤甚，“自秦以下，人人君天下者，皆不鑒秦設相之患，相從而命之，往往病及於國君者，其故在擅專威福”②。出於這種考慮，洪武十三年（1380），朱元璋以“謀逆”之罪，將專肆威福，招權納賄，生殺黜陟，不奏徑行的左丞相胡惟庸處死。旋即下令罷廢中書省，罷丞相一職不設，而將中書省及丞相之權分屬於六部，而令六部尚書直接對皇帝負責。由此形成朝廷內外權力高度集中於皇帝一人的統治格局，自秦朝以來千餘年的宰相製度，自隋唐以來沿襲700餘年的三省製度，終於結束於朱元璋之手。朱元璋還把廢除丞相作為“祖訓”，告誡子孫後代：“以後嗣君，其毋得議置丞相。臣下有奏請設立者，論以極刑”③。宰相製度的廢止，標誌著中央專製集權統治的高度強化。
丞相罷置之後，朱元璋又對監察機構——禦史台進行改革。洪武十五年（1382），改禦史台為都察院，“職專糾劾百司，辨明冤枉，提督備道，為天子耳目風紀之司”④。都察院設左右都禦史、左右副都禦史、左右僉都禦史，以及十三道（一布政使司為一道）監察禦史，分掌十三道，監察、檢舉各級官吏的不法行為。朱元璋賦予都察院極大的權力，“凡大臣奸邪、小人構黨、作威福亂政者，劾。凡百官猥茸貪冒壞官紀者，劾。凡學術不正、上書陳言變亂成憲、希進用者，劾。遇朝覲、考察，同吏部司賢否陟黜”⑤。尤其是監察禦史，雖隻是正七品官，卻“主察糾內外百司之官邪，或露章麵劾，或封章奏劾”⑥，權力極大。朱元璋此舉旨在以小製大，以內製亂。此外還專設六科給事中，以稽察六部百司之事，成為專事六部的監察機構。理刑審獄時，都察院須和大理寺、刑部共同進行，合稱“三法司”，避免“專於一司”的弊端。
軍隊建置。朱元璋於洪武初置大都督府，由大都督節製中外諸軍。洪武十三年，又改大都督府為中、左、右、前、後五軍都督府，然隻掌兵籍、軍政，不能直接統領軍隊。選授軍官之權則由兵部掌管，而調遣、發兵指揮權則握於皇帝手中。軍隊的編製為衛所，“自京師達於郡縣，皆立衛所”⑦。大體每衛5600人，置指揮使統領。每衛下轄5個千戶所，每千戶所1120人，置千戶為指揮官。每千戶下轄10個百戶所，每百戶所112人，長官為百戶。其下設二總旗，每總旗下轄5小旗，每小旗10人。府縣各衛歸各布政使司的都指揮使司管轄，其上歸統於五軍都督府。軍士另立“軍戶”之籍，且世襲，不得隨意脫籍。每逢征戰，由皇帝下旨，兵部僉發調兵之令，都督府長官則奉命統衛所兵出征。戰事結束，總兵歸還將印，兵士返歸衛所。軍製上的改革，極大地加強了皇帝對軍隊的控製。
朱元璋分置行政、監察、軍事機構，使之各自相對獨立，不相統攝，卻互為製約，其目的正在於“我朝罷丞相，置五府、六部、都察院、通政司、大理寺等衙門，分天下庶務，彼此頡頑不敢相壓。事皆朝廷總之，所以穩當”⑧。由此將朝廷內外大權獨操於皇帝一人手中，專製主義中央集權因此得以空前強化。