從1923年到1925年陶行知幾乎竭盡全力於廣泛宣傳和推行平民教育，他的足跡踏遍祖國的大江南北，到處都留下他一身中國農村平民著裝的風塵仆仆的身影，幾乎沒有什麼時間陪伴家人。他曾有一首《車上過年》的小詩描繪了他這一時期的匆忙與艱辛：上車過舊年，下車過新年。年年車上過，也算是過年。
在推行平民教育的過程中，在和廣大貧苦農民接觸後，陶行知意識到平民教育的方向應該有所轉變，他認為如果平民教育不能深入到中國廣大農村去，那是沒有前途的。他說：“中國以農立國，十有八九住在鄉下。平民教育是到民間去的運動，就是到鄉下去的運動。”
1924年，陶行知在給朱經農的信中說：“知行自從親自到民間去打了幾個滾，覺得我們有好多主觀的意見都是錯的，沒有效驗的。”陶行知決定改變平民教育方向，他要到鄉下去！
1926年元月，陶行知就江蘇省立五所師範學校在鄉村設立分校一事，提出了“師範教育下鄉運動”。他意識到，點到即止的鄉村支教對改變中國鄉村的教育麵貌將無濟於事，他的夢想是讓“鄉村學校做改進鄉村生活的中心，鄉村教師做改造鄉村生活的靈魂”，“鄉村師範之主旨在造就有農夫的身手、科學的頭腦、改造社會精神的教師”。
為了實踐他的理想，陶行知放棄了教授的派頭和享受，義無反顧地走向了中國鄉村。
1926年秋，陶行知他們不停地為他未來的鄉村師範學校尋找校址。他們找到了南京和平門外燕子磯附近一個靠著老山的叫小莊的村落，這裏依山傍水，桃林似錦。陶行知高興地發現這是一個理想的設立鄉村師範的地方，他激動得熱淚盈眶之餘，對同行的趙叔愚說：“老山太老了，這名字不好，不如叫勞山。小莊也應改叫曉莊。我們在這裏創辦試驗鄉村師範，在勞力上勞心，中國的教育必將從這裏破曉，放出曙光。”曉莊師範的校址由是選定。
同年12月3日，陶行知以中華教育改進社的名義起草了《改造全國鄉村教育的宣言書》，聲明該社的使命是“厲行鄉村教育政策為我們三萬萬四千萬農民服務。我們已經下定了決心，要籌募一百萬元基金，征集一百萬位同誌，提倡一百萬所學校，改造一百萬個鄉村。”在這一宏偉宣言的倡導之下，曉莊師範就這樣誕生了。
1927年初，曉莊師範開始招生。它的招生廣告別具一格，值得全錄如次：培養目標：(一)農夫的身手；(二)科學的頭腦；(三)改造社會的精神。考試科目：(一)農務或木工操作一日；(二)智慧測驗；(三)常識測驗；(四)作文一篇；(五)五分鍾演說。本校準備：(一)田園二百畝供學生耕種；(二)荒山十裏供學生造林；(三)最少數經費供學生自造茅屋住；(四)中心學校數處供學生實地教學做；(五)指導員數人指導學生教學做。投考資格：初中、高中、大學一年級半程度，有農事或土木工之經驗，及在職教師有相當程度，並願意與農民共甘苦，有誌增進農民生產力，發展農民自治力者，皆可投考。招生廣告後還特別聲明：少爺、小姐、小名士、書呆子、文憑迷最好不來。這一打破陳舊框框的招生廣告一時轟動全國。自此，來自全國各地熱心鄉村教育事業的有誌青年紛紛前來投考或是應聘擔任教員。
3月15日，曉莊師範經過艱苦而簡單的籌備正式開學，董事長為蔡元培，校長為陶行知。在開學典禮上，陶行知發表了熱情洋溢的講演，稱：“本校特異於平常的學校有兩點：一無校舍，二無教員。……本校隻有指導員而無教師，我們相信沒有專能教的老師，隻有經驗稍深或學識稍好的指導。所以，農夫、村婦、漁人、樵夫都可做我們的指導員，因為我們有不及他們之處。我們認清了這兩點，才能在廣漠的鄉村教育的路上前進。”
曉莊的教學是別開生麵而務實有效的，它完全地貫徹了陶行知的“生活教育”的思想。關於他的生活教育和杜威的教學理念有什麼差別，陶行知曾做過精彩的解釋：“傳統教育在學校和社會中間造了一道高牆。改良者主張半開門，是‘學校社會化’，提出‘學校即社會’的口號。生活教育者主張把牆拆去，主張‘社會即學校’，以青天為頂，大地為底，二十八宿為圍牆，人人都是先生，都是學生，都是同學。”
因了這個理想，所以曉莊師範沒有呆板的上課製度，也不完全按照書本教學，而是把教學活動分成文學、教育、農藝、美術、科學、政治、鄉村建設、醫藥衛生等各種小組。有的科目講幾小時，有的則上好多周乃至幾個月。所有校務，無論大小，全由學生輪流擔任，小到飲食衛生，大到接待客人、防衛校園，都是如此，陶行知本人也親自參加買菜燒飯、灑掃庭院。學校重視體育訓練、重視技能培訓、重視自己動腦動手。舉一個典型的小例子，學校的科學組聘請的生物學教員為陶行知的金陵大學故人姚文采，剛開始上課時，他抱了一大堆參考書，結果當場遭到陶行知的否定，陶行知要求他教學做合一的教學，而不是課本教學。自此，姚文采逐步把“教學做”運用自如。一次，一個被毒蛇咬傷的農民被送到曉莊鄉村醫院救治，原來當地多長蟲，曉莊的師生也很怕這東西。姚文采就借機邀請來一個南京夫子廟耍蛇的藝人來到課堂上，教學生如何辨別有毒蛇和無毒蛇，講授如果被咬傷如何治療的知識，並當場要求學生一起演示如何捉蛇，很快學生都精於此道。曉莊的教學大率類此。
曉莊師範很快在全國聲名遠播。1927年10月，蔡元培和沈定一等來學校參觀，對學校火紅的教育成果大為歎服。他發表了熱情洋溢的講話，高度肯定了曉莊的事業對改造中國所具有的深遠意義。曉莊吸引了全國二十多個省市的各界人士前來參觀、學習。不僅如此，曉莊甚至引起了世界的注意。美國著名教育家克伯屈博士是設計教學的創始人，從蘇聯考察教育後，他專程來參觀曉莊。他把參觀過程拍成紀錄片，在和陶行知交流後，他盛讚說：“在我這次參觀考察後，覺得你的學校辦得很好。今後無論我走到世界上哪一個國家，我都要說中國南京有一個曉莊學校，辦得很好。它是代表世界教育的一道曙光！”
曉莊培養的學生大都極具社會關懷，而且實踐能力十足，在很大意義上，它實際培養了許多有誌的社會革命者。要求聘請曉莊畢業生的邀請函如雪片翻飛，甚至泰國曼穀的華僑學校都來該校聘請教師。
1930年，蔣介石和馮玉祥、閻錫山以及桂係軍閥發動中原大戰，由於陶行知和馮玉祥交情甚深，蔣介石疑心陶行知的曉莊是他的反對者，再加上曉莊的確存在具有革命傾向的熱血青年。蔣介石悍然於4月8日下達了關閉曉莊的密令，並通緝陶行知。陶行知被迫離開凝聚著他一生心血的曉莊，避走日本，以逃脫國民黨政府的迫害。