從洪武十八年（1385年）開始，一場捉拿害民吏胥的群眾性運動在全國各地陸續展開。大量吏胥被老百姓綁往京師，情節嚴重者被當即處以極刑，情節輕微者，發配充軍。民間防控網絡體係的形成，使得帝國官吏的言行大為收斂，不敢再像以前那樣肆無忌憚地傷害地方良民。
為了不讓官吏禍害老百姓，朱元璋想過很多措施，“糧長製”是其中之一。客觀地說，“糧長製”是存在著嚴重缺陷的一項製度。對於剛剛登上帝位的朱元璋來說，隻是權宜之計，用它來割斷官員假借稅糧魚肉百姓後的一個替代性方案。
朱元璋剛剛接手政權，還沒來得及建立一套完全屬於自己的權力框架。在沒有更好選擇的情況下，朱明王朝還是延續了元朝“以吏治國”的大方針。從民間重新選用一些政府認為可靠的人員來督征稅糧，如此一來，國家的財政收入就可以增多一些。同時對於那些飽受官府壓迫的農民來說，他們也不願意與官府直接打交道。
由於地方官員基本上都是由外地人充任，對於當地的情況不是很了解，往往容易受胥吏蒙蔽。經過利害權衡，朱元璋式的民間自理方式應運而生。朱元璋對於貪官汙吏一貫的態度就是從嚴從重，絕不留半點情麵。他所說的“以良民治良民”，前一個“良民”是那些大地主們，後一個則是普通農民；前者是治人的糧長大戶，而後者是那些被治的農民小戶。
“以良民治良民”關鍵之處在於區分“良民”的標準，到底是誰治誰？
從帝國政權的觀點看來，所謂的“良民”，不過就是那些“有恒產有恒心”的地主階級，官家的權力機器就是要依靠他們的支持才能夠平穩運行。皇帝是最大的地主，官僚胥吏是小地主。大地主重用小地主，讓他們賺得盆滿缽滿。在帝國的權力鏈中，無論是皇帝這個地主中的至尊寶，還是民間地主中的VIP，他們的利益管道是彼此互通的。
在朱元璋的人生字典裏，他最為痛恨的兩個字莫過於“貪官”。在對待那些貪贓枉法的官吏時，朱元璋的剛猛手段沒有最猛，隻有更猛。洪武年間，朱元璋大肆殺戮為自己打江山的開國功臣，株連極廣。這種做法抬高了帝國官場的權力風險值，本來一個士子十年寒窗苦讀就是為了當官以實現光宗耀祖，庇蔭子孫的人生終極夢想。可是生不逢時，別人當官是要錢，在洪武年間當官卻往往會要人命。於是“鄉黨自好之士”，多視宦途為畏途，對於當時朝廷的官員錄用並不熱心。誰也不願意拿自己的一條命去博一場未知的富貴。既然讀書人不願意主動依附，朱元璋隻好從民間社會將那些忠誠之人提拔到權力係統工作。
從糧長在權力係統中所處的地位來看，他們中的很多人屬於地方上的半公職人員，並不屬於體製內的正式官員；從他們的身份來看，這些人更接近於吏，與體製內的官員相去甚遠。當然，糧長在明朝的“官樣年華”並不長久，等到官、吏任用製度逐漸規範之後，糧長被逐漸剝奪直接為官的特權。特別是明朝中葉以後，張居正推行一條鞭法，賦役多數改征銀兩，官收官解的辦法又複流行，糧長的地位更退居到吏胥之下。也就是說，糧長進入官場捷徑的大門在這時候被堵住了，於是民間那些有誌的地主們也就不再把“糧長”放在眼裏了。
洪武年間，“糧長”這種有權無職的地方具體辦事人員，之所以有著很強的誘惑力，主要是因為他能夠從征收稅糧的過程中撈取更多的灰色利益。但凡有利益出沒的地方，就會有趨之若鶩的人群。
其實朱元璋對自己建立的“糧長製”還是頗為得意的，用他自己的話說就是“以良民治良民”。為了鼓勵糧長能夠忠誠地服務於自己的帝國，朱元璋給了他們十分優厚的生存條件。甚至不惜打破吏不為官的傳統，讓糧長有機會直接晉級官員，甚至高級別的官員。
以至於很多年後，大學者顧炎武還在他那本著名的《天下郡國利病書》中寫道：“當時，父兄們經常教導子弟，做糧長比參加科舉考試還好。”畢竟科舉考試，是一個上千上萬人的獨木橋，中獎率實在太低。