鄉鎮機構誕生的時間不長，起於晚清末年，在民國時期，設置了鄉公所。1949年以來，處於市縣和村莊之間的這一級機構成了社會革命的實驗田，管轄範圍忽大忽小，其存在也忽有忽無，在1958－1982年期間，鄉鎮一級被人民公社取代，由於人民公社是黨政商學兵一體化的組織，因而在公社之上，又設立區一級機構，協助縣級組織統轄鄉村事務。
1978年農村開始推行土地承包製，原有的人民公社體係解體，鄉村地區重新設置鄉鎮一級機構，據統計，上世紀80年代中期全國共有鄉鎮9萬餘個，平均人口不足1萬。隨著大力發展小城鎮政策的出台，在農村地區財富積累極度缺乏的情況下，應對之策就是合並小鄉，成立大鄉，鄉鎮數量減少至4.3萬餘個。
從1993年起，分稅製開始實施，鄉鎮企業在市場經濟逐漸深化過程中也由繁榮轉為衰落。鄉鎮管理機構在收入減少，開支增大的情況下，把創收的算盤鎖定在包產到戶後生活條件有所改善的農民身上，鄉提留、村提留，各類罰款、稅費層出不窮。九十年代中後期，純農業地區每個農民及其家庭成員人均承擔稅費在每人每年200元－300元之間，超過農民全年糧食種植能夠獲得的純收入。如果農村家庭中在糧食種植外沒有其它收入，將無法繳納鄉鎮以及村上的各項費用。這一段時間，農民外出打工潮開始湧現，很多沒有條件外出打工的農民不得不賣血謀生，河南、安徽、四川等地爆發的因賣血感染上愛滋病的社會災難是這一時期鄉鎮職能錯亂的副產品。
這樣的情況一直持續到2000年湖北監利縣棋盤鄉黨委書記李昌平“我向總理講真話”：“農民真苦，農村真窮，農業真危險”。至此，農村稅費改製被提上日程，並最終演變成農業稅在2006年被全麵取消。
農村稅費改製後，原有的鄉鎮機構在財政上無力維持，走上了借債運營的路，鄉鎮債務迅速膨脹。
為了應對鄉鎮機構的財政危機，減員裁人，合鄉並鎮提上了日程，至2005年，鄉鎮總數減少至35473個，比1996年又減少了8千餘個，按照相關部門的規劃，鄉鎮一級的最終數量將減少到3萬個，鄉鎮平均人數接近3萬人。