自國民黨對陶行知發出通緝令後，持續遭到國內外輿論的譴責。國際知名人士如愛因斯坦、杜威、甘地、羅素、羅曼羅蘭等於1930年秋聯名致電蔣介石，要求他撤銷對陶行知的通緝令。次年春，陶行知秘密潛回國內，得《申報》總經理史量才支持，供職於《申報》。以化名創辦《讀者通信》專欄，譴責國民政府不抗日的反動行徑，並發起“科學下嫁”運動。
1931年，蔣介石二次下野，林森任國民政府主席，馮玉祥也為此而努力，迫於國內外壓力，次年元月，國民政府解除了對陶行知的通緝。陶行知終於又自由了，他再次投身於他鍾愛的大眾教育。
解放了的陶行知準備光明正大地讓曉莊複校，並登載招生廣告，蔣介石主導的國民政府卻食言而肥，他們用非法手段侵占曉莊校園，致使學校不能正常辦學。學校二次被封，陶行知對蔣介石的獨夫本質有了深刻認識。但他不會屈服，他要以更靈活的方式來傳播他的“曉莊”精神。
陶行知和著名教育家陳鶴琴創辦了工學團，繼而又組建了新安旅行團和山海工學團等承繼曉莊教育精神的組織。在這個過程中，陶行知發明並倡導了享譽世界的“小先生”製。
1934年1月28日，山海工學團召開普及教育總動員大會。在這次大會上，陶行知正式提出了“小先生”製。所謂“小先生”，就是通過教育家庭的小朋友，再利用小朋友去教育家裏不識字的人。
陶行知總結了采用“小先生”的幾大好處：一是有利於中國女子教育。在當時的社會風氣之下，女性主要在家庭裏，而且奉守陳舊的觀念，她們的教育問題相當不好解決。而有了“小先生”們，該困境幾乎不再存在，至少識字教育不是障礙；其次，大人跟小孩學，無形之中能使大人心態年輕，這也有利於培育少年中國的精神氣質；再次，“小先生”製有利於打破教育壟斷的藩籬，使得知識可以轉化為公共資源，為社會成員共同分享；最後，傳統教育的一大難點是家庭和學校之間聯絡不暢，但如果有了“小先生”們，就可以把學校、社會和家庭有效地聯結在一起。
陶行知倡導的“小先生”製，雖然飽受質疑，但在中國當時的社會條件下，卻的確起到了非同尋常的巨大作用。其影響波及整個國統區，並有充足的證據表明在中共解放區也產生了巨大的影響。共和國的著名教育家徐特立就是這一製度的踐行者，“小先生”製在延安被廣泛采用。不僅如此，實行“小先生”製的成果經受住了國際友人的考核，並由此揚名國際。
1936年8月，在倫敦世界教育會議第七屆年會上，陶行知作了“中國救亡運動與小先生普及大眾教育運動實踐情況”的報告，受到與會各國代表的高度讚揚。印度代表甚至直接邀請陶行知去訪問印度，指導印度的普及教育工作。在印度，聖雄甘地抱病和陶行知交流半個小時，臨別時，特別叮囑陶行知：“請代表我向中國人民致意。請把您在印度演講大眾教育的問題，寫成文章，寄給我們。”
隨著罪惡的日本侵略者對中國的摧殘加深，為了中國的前途和命運，陶行知不得不把大量的精力投放到遊說國際友人支持中國抗日的民族事業中。饒是如此，他仍然沒有放棄教育救國的理想。一方麵，他提倡國難教育；另一方麵，他身體力行，在重慶創辦了育才學校，繼續著他通過普及平民教育拯救並改造中國的理想。
1938年，陶行知結束了歐、美、亞、非26國的訪問行程，回到國內。其時，中國抗日統一戰線已經形成，他有了更大的政治空間推廣他的教育理想。他相信他的“生活教育”的理念有助於堅定中國人養成自立、自強精神，他說：“我相信生活教育必定能夠發出偉大的力量幫助打倒日本帝國主義，幫助創造一個自由平等的新中國，並且幫助創造一個和平互助的新世界。”這一年12月15日，廣集包括國共兩黨在內的社會賢達的生活教育社在廣西桂林省政府禮堂舉行成立大會，陶行知當選為理事長。隨後，他著手籌備創立育才學校，它的對象是教育戰時彙集在重慶的200多萬流浪兒童。
1939年7月20日，育才學校借北碚北溫泉小學校舍舉行了開學典禮。陶行知宣講了該學校的創辦旨趣：“創辦育才的主要意思在於培養人才之幼苗，使得有特殊才能者的幼苗不至於枯萎，而且能夠發展，就必須給予適當的陽光、空氣、水分和養料，並掃除害蟲。我們愛護和培養他們正如園丁一樣，日夜辛勤地工作著，希望他們一天天的生長繁榮。”他強調，學校不是培養專家，而是希望學生能根據各自的興趣，把他們育成專才；更不培養人上人，而是要讓學生從老百姓中來，學成以後再回百姓中去。因此，這裏的教育仍然是普及大眾教育的一部分。
育才學校最後在古聖寺開學，學校沒有入學考試，也沒有升學考試，也不存在所謂的畢業問題，不過要經過必要的智力測試。學校設立專業為音樂、戲劇、繪畫、文學和社會五組，無數當時享譽全國乃至國際的高級知識分子、詩人、音樂家、藝術家紛紛到學校任教。育才學校是中國乃至世界教育史上一所特異的學校，因為它是根據一種全新的教育理念而創設的。它不僅要求其學生有相當的智力，還要測試學生的特殊才能和興趣。與此同時，它的學製規定又是那麼不拘一格，而在教育過程中，始終強調“創造性”的培育。
同時，它在培養學生的品德方麵也是別出心裁，而且至今仍極有啟發意義的。有一天，陶行知校長看到一名男生正要用磚頭砸同學，立即將其製止，並讓他到校長辦公室等候。陶行知回到辦公室，見男生已在等候，便掏出一塊兒糖給他：“這是獎勵你的，因為你按時到了。”接著又掏出一塊兒糖給他：“這是獎勵你的。我不讓你打同學，你立即住手了，說明你很尊重我。”男生將信將疑地接過糖果。陶行知又說：“據了解，你打同學是因為他欺負女生，說明你有正義感。”隨後，掏出第三塊兒糖給他。這時，男生哭著說：“校長，我錯了，同學再不對，我也不能采取這種方式。” 陶行知又拿出第四塊兒糖說：“你已認錯，再獎勵你一塊兒，我的糖給完了，我們的談話也該結束了。”我們至今很難評價育才學校的曆史貢獻，不過，可以肯定的是它為國家培養了不少專門人才。此外它一直在經費極其拮據的情況下運行。盡管它受到進步黨派團體和人士的支持，但國民政府一直對它的存在甚為警惕。陶行知為了保證它的運轉四處奔走而積勞成疾。
1946年7月25日，陶行知這位把自己的一生全部貢獻給中國平民教育的巨人，突發腦溢血在上海去世，享年僅56歲。他的遽然辭世，震動了全國乃至全世界。10月27日，上海各界為他舉行了隆重的追悼大會；同年12月9日，美國紐約也為這位世界級的教育家舉行追悼會，由杜威和馮玉祥擔任名譽主席，威廉霍蘭德擔任主席，美國教育界的各大名流以及留美中國人士出席。陶行知先生備享身後哀榮，他理當享有這樣的榮譽。