當初，康有為、梁啟超倡導變法維新，炙手可熱，蔡元培冷眼旁觀，並不看好康、梁的“小臣架空術”，維新派把孤立無援的光緒皇帝的細腿當成如來佛腳去抱，企圖富國強兵，拯救日薄西山、氣息奄奄的清王朝，這豈不是癡心妄想嗎？改良教育和培植人才，如此重要的事情，康、梁竟認為無關大局，根本不留意，全然不著手，徒然空言造勢，似乎撒豆成兵，倒有幾分神漢巫公的派頭。康有為所主導的四不像的變法維新和君主立憲果然一敗塗地，蔡元培一針見血地指出其敗因：“由於不先培養革新人才，而欲以少數人弋取政權，排斥頑舊，不能不情見勢絀。”蔡元培真心向往的是民主政治，極力主張的是教育救國，他放著好好的翰林不做，棄官南下，回家鄉紹興監理新式學堂，到上海南洋公學特班任總教習，與葉瀚等人發起成立中國教育會，組織愛國學社，開辦愛國女學。
1903年冬，蔡元培為使國人對帝俄覬覦中國東三省有所警覺和防範，創辦《俄事警聞》報。這一時期，他受蒲魯東、巴枯寧無政府主義思潮的影響，發表小說《新年夢》，主張廢除私有財產，廢除婚姻製度。但他很快就發現此路不通，唯有以革命的霹靂手段刷新政治，才能使死氣沉沉的社會獲得生機。於是，他參加楊篤生領導的軍國民教育會暗殺團，與陶成章等人秘密創立光複會，出任中國同盟會上海分會會長。由封建王朝的翰林轉變為徹底的革命黨，蔡元培無疑是古今第一人。
蔡元培寫過《我在教育界的經驗》一文，其中有這樣一段話：“自三十六歲以後，我已決意參加革命工作。覺得革命隻有兩途：一是暴動，一是暗殺。在愛國學社中竭力助成軍事訓練，算是預備下暴力的種子；又以暗殺於女子更為相宜，於愛國女學，預備下暗殺的種子。”然而，與同時代的革命黨人相比，蔡元培的主張無疑是相對溫和的，當民族革命被推向最高潮時，“誓殺盡韃虜，流血滿地球”的激烈言論是主旋律。鄒容的《革命軍》痛恨滿族人，仿佛視之為不共戴天的殺父之仇，欲斬草除根而後快。蔡元培在1903年4月的《蘇報》上發表《釋仇滿》一文，給民族革命做了一個降調處理，他的言論更能服人，也更能安心：“滿人之血統久已與漢族混合，其語言及文字，亦已為漢語漢文所淘汰。所可為滿人標識者，唯其世襲爵位及不營實業而坐食之特權耳。苟滿人自覺，能放棄其特權，則漢人決無仇殺滿人之必要。”革命通常是流血的代名詞，革命者能夠保持冷靜的理智，實為難上加難。
蔡元培一生與教育結緣，是教育界深孚眾望、絕無爭議的當然領袖。
1912年3月，蔡元培加入民國政府唐紹儀內閣，出掌教育部。他與教育部次長範源濂既是搭檔，又是朋友。關於教育，兩人的觀點可謂相反相成。範源濂認為：小學沒辦好，怎麼能有好中學？中學沒辦好，怎麼能有好大學？所以當前教育的重中之重是要先整頓小學。德國鐵血宰相俾斯麥早就說過：“普魯士能勝法國之功，全在小學教員。”蔡元培則認為：沒有好大學，中學師資從哪裏來？沒有好中學，小學師資從哪裏來？所以當前教育的重中之重是要整頓大學。幾番辯難之後，兩人協調了意見：從小學、中學到大學，教育部都須費大力氣下大工夫去整頓。
蔡元培信奉安那其主義（Anarchism，無政府主義）勝過信奉三民主義，他崇尚個人自由、思想自由、學術自由和信仰自由，他認為“忠君與共和政體不合，尊孔與信教自由相違”。蔡元培力主廢止尊孔、祀孔和讀經，乃是事有必至，理有固然了。他的教育主張與舊派人物的意見難以調和，他的改革舉措也處處受阻。一旦意興闌珊，求去之意遂決。1913年，蔡元培掛冠出洋，為考察西方教育和研究世界文明史，前往德國遊學。袁世凱慰留的話講得很誇張：“我代表四萬萬人留君。”蔡元培的回答十分機智：“元培亦對四萬萬人之代表而辭職。”