1923年，他創辦了安徽公學，並任校長，用“義則居先，利則居後；敬其所長，恕其所短”作為自己做校長的準則，並倡導師生應相親相愛、共學共事、共修養、共生活、共甘苦。他深刻認識到平民教育的偉大意義，深刻指出：“中國以農業立國，一百個人中有八十五個住在鄉村裏。”因而他大力開展平民教育運動，上下求索，八方奔波，去為農民創造受教育的機會，以實現他那要讓農民“成為快樂的活神仙”的美好理想。
1926年，陶行知開始其鄉村教育的艱苦創業。為解決農民後顧之憂，解決農家幼兒受教育問題，他大力開展創辦鄉村幼稚園運動，在理論和實踐上進行了開創性的工作。
1927年，他在南京創辦了我國第一所試驗鄉村師範學校——曉莊師範學校。在這裏陶行知提出了他的偉大教育理論——生活教育理論的基本觀點：“生活即教育”、“社會即學校”、“教學做合一”。
1928年，他提出師範學校和小學總的培養目標是具有“康健的體魄、勞動的身手、科學的頭腦、藝術的興味、改造社會的精神”的創造性人才。他尖銳指出：“全民族的命運都操在小學教員手裏”，“中國之所以受不平等條約的束縛和帝國主義之宰割，追到根源，也要算教書先生為罪魁”。這些話表明了他對小學教師地位和作用的極端重視和殷切期望，具有振聾發聵的啟迪作用。
1930年，他在《曉莊三歲敬告同學書》中滿懷深情地說：“曉莊是從愛裏產生出來的，沒有愛便沒有曉莊。因為他愛人類，他愛人類中最多數最不幸之中華民族；因為他愛中華民族，所以他愛中華民族中最多數最不幸之農人。”陶行知出身貧寒農家，自幼飽嚐農家孩子為得到受教育機會而受的艱辛，因而傾注滿腔心血和無限摯愛去為貧苦農民創造受教育的機會，這一發自內心的、誠摯博大的愛心是促使他奮鬥一生的最深刻的動力和原因。正因為如此，他終生艱苦卓絕，雖九死而不悔。曉莊的革命實踐和巨大影響引起國民黨反動派的恐慌，當局派軍警封閉了曉莊學校，下令通緝陶行知，使他被迫流亡日本。
1931年，他回國隱居上海，用筆名發表文章，抨擊不抵抗主義，主張抗日救國。他倡導“科學下嫁”運動，編輯《兒童科學叢書》、《大眾科學叢書》，號召把科學帶給人民大眾和千萬兒童。時至今日，半個多世紀過去了，中國的科學教育事業仍很落後，科教興國任重道遠，這不能不使我們從心底欽佩陶行知的遠見卓識。這一年陶行知在《手腦相長歌》中寫道：“人生兩個寶，雙手和大腦。用腦不用手，快要被打倒。用手不用腦，飯也吃不飽。手腦都會用，才算是開天辟地的大好佬。”歌詞用形象生動的語言批判了舊教育，倡導了新思想，至今仍能給我們莫大的啟迪。
1932年，陶行知發起普及教育運動，在上海郊區大場創辦了“山海工學團”，引導工人、農民邊勞動邊讀書，這是從中國國情出發實實在在進行平民教育的最真誠的實踐。陶行知從他對人民的真切摯愛出發，以他對人民子女極端負責的精神，嚴厲警告某些糊塗先生：“你的學堂成了害人坑！你的墨水筆下有冤魂！你的教鞭下有瓦特，你的冷眼裏有牛頓，你的譏笑中有愛迪生。”這些話是我們應該時時刻刻銘記在心裏的，應該看到世界上最不可饒恕的罪過是毀滅人才的行為，毀滅了人才便是毀滅了希望和未來，是以陶行知說在教師的手裏握著人類的命運。對此現實的教育工作者應該牢牢記取，在實踐中更要慎之又慎，不要做那誤人子弟的糊塗先生！