統一思想的最大障礙是讀書人。知識分子的本職就是進行思考，從而天然容易產生對一元化思想的離心傾向。朱元璋從源頭上抓起，大力興辦義務教育，以此控製知識分子胚胎形成的規格、模式，使符合他需要的知識分子能成批量地生產出來。
朱元璋對辦學非常重視，說，“學校之設，國之首務”，“治天下以人材為本，人材以教導為先”。他把教育與農業一起視為“王政之本”，一直抓得很緊。早在龍鳳五年（公元1359年）正月，大明開國前九年，他就曾於婺州開設過郡學培養人才，龍鳳十一年九月又在應天創辦了國子學。明朝建立後，更大力發展教育，從中央到地方，興辦了國學、郡學和社學三級學校。
國學就是國子學，是國立大學。開始校址沿用元朝儒學的舊址，因為校園較小，朱元璋不斷擴建，僅洪武六年一次就“增築學舍幾百餘間”。但此地處於市中心的繁華之區，靠近彈箏吹笛之地，不利於學生靜下心來學習。
洪武十四年，朱元璋親自為新校區相基選址，選定在距離京城七裏的雞鳴山之陽，那裏環境幽靜，適宜攻讀。朱元璋投入巨資，工部尚書陳恭親自主持建設，洪武十五年，新學校落成，教學區、生活區、圖書館、食堂、菜圃具備，“凡為楹一十有奇，壯麗鹹稱”。五月十七日，皇帝親臨國子監“謁先師孔子”，又登上講堂，親自為學生們上了一堂課，內容是講解《尚書》的《大禹謨》、《皋陶謨》、《洪範》諸篇，課後又宴請了全體師生。
國子監的生員通稱監生，分為官生和民生兩大類。“官生取自上裁”，是由皇帝指派，“民生則由科貢”，是由地方保送。在傳統時代，這所大學規模可稱得上非常宏大，洪武二十六年（公元1393年）的生員總數達到八千一百二十四名，是當時世界上最大的高等學府之一。如果當時搞一個大學排名，相信國子監規模一定在全世界名列前茅。
至於國子監的功課，則範圍有點窄，主要有語文、數學、政治、書法、體育幾類。語文課的教材主要有《四書》和《五經》。政治課的教材主要是禦製《大誥》和《大明律令》等，漢代劉向的《說苑》，錄載可供人們取法的遺聞逸事，朱元璋認為熟讀它，可教會人們怎樣做人處世，因此列為必修的功課。
至於數（數學）和書（書法）的教材沒有記載。體育的內容是學習武藝，洪武三年，朱元璋詔國子監及郡縣生員“皆令習射”，洪武二十三年還下令在國子監內“辟射圃”，為生員提供練習騎射的場所。除了國立大學外，洪武二年，朱元璋又開始在全國廣泛興建學校。他“令郡縣皆立學校”，他下詔：
“今雖內設國子監，恐不足以盡延天下之俊秀。其令天下郡縣並建學校，以作養士類。”“講論聖道，使人日漸月化，以複先王之舊。”
郡學是由各地方政府設立的中等學校。開國之初，朱元璋政權的執政能力十分突出，一聲令下，全國各府、州、縣都開始建立學校。政策當然是一刀切，府級學校，學生四十人，州級三十人，縣級二十人。隨著郡學的發展，不久又命擴大生員，不限數額，教學內容和國學相似。
洪武八年，他又令天下建立社學，即鄉村小學和社區小學。他說：“過去遠在周朝之時，每家都有私塾，每鄉都有學校，所以百姓無不知學，因此聖人的教化得以實行而風俗變得淳美。今京師及郡縣皆有學校，而鄉村百姓則還沒有享受教育的權利。所以，要命令各級官員建設鄉村小學及社區學校，請老師來教民間子弟，這樣可以引導普通百姓向良善之俗轉化。小學以禦製《大誥》和《大明律令》作為主要的必修課程。”據統計，洪武年間各府、州、縣平均設有社學近六十一所，數量相當可觀。
在前現代化國家，國立學校從京師一級曆府、州、縣一直延伸到鄉村一級，覆蓋麵如此廣，數量如此眾多，全世界罕見其匹。帝王的精神教育由皇宮發出，即可直達鄉野田間每家每戶。正如明史所說，由此，“無地而不設之學，無人而不納之教。庠聲序音，重規疊矩，無間於下邑荒徼，山陬海涯。此明代學校之盛，唐、宋以來所不及也”。
雖然秉性吝嗇，在教育上，朱元璋卻從來不憚花錢。建校舍，請老師，已經投入了巨額財政資金，而學生的待遇，又創曆代之冠。
洪武年間辦學都是國家投資，學校經費來源於國家撥給的學田（辦學用的公田以田地收益作為學校基金），洪武十五年正式詔定天下學田之製，規定府學一千石，州學八百石，縣學六百石。
府、州、縣各級學生，都可以享受國家補貼。金額是每人給米六鬥，額外還有魚肉供應。京師的太學學生待遇更好。一旦考上太學，國家包發校服，每季度發一套，還包供食宿。甚至結了婚的，還可以帶家眷入學。家眷們的生活供應，由馬皇後親自負責。