在軍閥政府的統治下，社會黑暗，國事日非。蔡元培因目擊時艱，不忍與反動派同流合汙，於是在1923年1月憤然去職，再次赴歐研究學術。
試行大學區製，設立中央研究院
蔡元培旅歐時，國民黨舉行改組後的第一次全國代表大會。經孫中山提名，大會選舉蔡元培為候補中央監察委員，1926年，在北洋軍閥覆滅前夕，他回到上海，從事反對北洋軍閥、支持北伐軍的活動。次年4月，國民黨南京政府成立，他被任命為教育行政委員會委員。
為了實現自己的教育理想，他提議設立中華民國大學院。提議通過後他被委任為大學院院長。大學院是全國最高學術教育行政機關，設大學委員會，為大學院的立法機構，有權推選院長和議決學術教育上的重大問題。在大學院之下，他采取法國大學區製的教育行政製度。把全國劃分為若幹大學區，各設大學一所，校長一人，總理學區一切學術和教育行政。大學院和大學區分別取代原中央教育部和省區教育廳。大學院對於中央政府，大學區對於省區政府，具有相對獨立性。
這種教育體製是蔡元培多年來謀求教育獨立理想的一次嚐試。早在1922年，他就著文提倡教育獨立，主張教育事業應當完全交給教育家，使教育保有獨立的資格，不受各派政黨或各派教會的影響。這種主張企圖使教育擺脫封建勢力和帝國主―~重義教會的控製，有其進步意義，然而，教育獨立畢竟隻是一種空想，是行不通的。大學院的建立僅逾半年，大學區製尚未推廣，就遭到國民黨一些當權者的反對，1928年8月，他不得不遞交辭呈，10月，大學院複改為教育部，次年，大學區製亦被取消了。
此後，蔡元培專任中央研究院院長，中央研究院的創立，是他對中國科學事業的最大貢獻。在他的領導下，中央研究院的物理、化學、工程、地質、天文、氣象、心理、社會科學、曆史語言等研究所及自然曆史博物館，羅致了大批純正有為和進步的學者，如竺可楨、李四光、陶孟和、丁西林、朝剛複、陳寅恪、楊銓、陳翰笙等，主持所務或負責各人專題的研究。因此，該院的經費雖不甚充裕，卻能在較短時間內，取得一些引起世界注目的科學成果。
“九一八”事變後，國民黨對外妥協，對內實行法西斯統治。蔡元培從抗日救國的立場逐漸走上公開反對國民黨當局、同情革命之路。他主張槍口對外、一致抗日，主張充分保障人民的言論、集會、出版、結社自由。他親自講演、著文，並且與宋慶齡、楊杏佛等組織“中屆民權保障同盟”，全力營救因抗日而遭囚禁的共產黨人和愛國誌士。1932年6月，楊杏佛被暗殺，蔡元培不顧個人安危，親自為楊杏佛主持喪事。
1933年3月14日，馬克思逝世50周年，他和陶行知、李公樸等100多人發起紀念會，舉行科學社會主義的講座，第一講為《科學的社會主義概論》，由蔡元培主講。
1936年冬，在70高齡的時候，蔡元培身染傷寒，從此體質虛弱。次年，他到香港養病，1940年3月5日，一代宗師蔡元培在香港養和醫院溘然長逝。
蔡元培逝世後，舉國震悼！唁電從海內外如雪片飛來。中共中央的唁電稱：“先生為革命奮鬥四十餘年，為發展教育文化事業勳勞卓著，培植無數革命青年，促成國共兩黨合作。”毛澤東的唁電稱：“孑民先生，學界泰鬥，人世楷模”，的確，他是當之無愧的。
毛澤東的授業恩師―楊昌濟
楊秀才出國留學
楊昌濟，字華生，清同治十年（公元1871年）誕生於湖南長沙。7歲入私塾讀書，在父親的耐心指點和嚴格要求下，發奮攻讀，幾年間熟讀四書五經，閱讀了中國古代哲學、曆史、倫理方麵的一些典籍，以後又讀了周敦頤、二程、朱熹、陸九淵、王陽明等人的著作，為參加科舉考試，他學會了八股文。
1889年，楊昌濟考中秀才。1891年起在家鄉開設“蒙中屆曆史知識全書一一重軀人物館”，開始了他的教育生涯，與此同時，他也參加了鄉試，但兩度落第。甲午戰爭後，他積極投身於維新運動之中，並加入南學會，廣泛涉獵了近代思想家康有為、梁啟超、譚嗣同等人的著作，熱情地學習新學和新政。曾在《湘報》發表《論湖南遵旨設立商務局宜先振興農工之學》的論文，認為欲振興商務應該先振興農工之學。
1902年冬，湖南地方當局招考官費留日學生，楊昌濟被錄取，於1903年2月東渡日本，開始了他的留學生涯，並改名“懷中”。他先在日本教育家嘉納治五郎專為中國留學生創辦的弘文學院速成師範科學習，次年轉為普通科，攻讀教育學、心理學、倫理學、教授法、學校管理法等課程，與陳天華、黃興等同學。
1907年，他以優異成績畢業，深得嘉納治五郎的賞識，被推薦到東京高等師範學校，專攻教育學。1909年初，由〒在英國的好友楊毓麟、章士釗的介紹，海政府駐歐洲留學生總監蒯光典召楊昌濟赴英國深造，人蘇格蘭的阿伯汀大學哲學係，攻讀哲學、倫理學教育學。1912年春，獲得文學士學位。隨後專程赴德國考察教育，1913年春，楊昌濟結束了他長達10年的留學生涯，回到了中國。
在國外的十年中，楊昌濟專心研究了資產階級的哲學、倫理和教育理論，又深人考察日本、英國、德國的教育狀況和社會風俗習慣等，使他的政治觀點、學術思想、教育思想都日趨成熟了。
楊昌濟執教湖南省立第一師範
楊昌濟回國時，清王朝的封建統治，已被孫中山領導的辛亥革命推翻，而湖南的政權則落於立憲派代表譚延閭手中。楊昌濟謝絕了譚的聘任，不願出任湖南省政府教育司長之職，卻應聘省立第一師範學校修身課的教員，後來他被選為長沙縣教育會長，可沒過多久即辭去，辭職後，長沙縣署委任他為湖南第一聯合中學校董，他也拒辭不受，而寄希望於自己所從事的教育事業，寄希望於青年一代，實現他救國救民的抱負。
他應聘到省立第一師範任教後，就把全家搬到城裏，在離一師不遠的天鵝塘住了下來。為了便於識、別，特意製了一塊小小的銅牌，刻著“板倉楊”三個工工整整的隸書字，釘在門外，因此，得名“板倉楊寓”，又稱楊昌濟為“板倉先生”。
第一師範原是南宋理學家張栻講學的城南書院，學校圖書豐富、校舍寬敞、建築優美，有“洋樓”之稱。由於辛亥革命的影響，一師是當時長沙比較有朝氣的學校，學校當局采取了一些較為開明的措施。如聘請思想進步的教師、創辦學校農場和工場、不收學費，並免費供應學生膳、宿、書籍和服裝。毛澤東、蔡和森、陳昌、張昆弟、李維漢、羅學瓚；肖三等都是當時一師的學生。
楊昌濟利用課堂講學、課後交談等各種方式，向青年學生介紹了西方進步的政治學說、哲學思想和倫理觀點。學生們見他道德高尚、學識淵博、平易近人，便非常敬佩和愛戴他，每逢星期日，學生們相聚去“板倉楊寓”，探討學問，各抒所見，竟日不休，楊昌濟則通過這些接觸和交往，從中發現人才。