在蔡元培早期的教育活動中，已表現了他不因襲陳規，勇於革新的精神。他在南洋公學特班確也培養了一批高材生，如邵力子、黃炎培、謝無量、洪允祥、李叔同、王世澂、胡仁源、項驤、貝壽同等，都是他所賞識的，其中有些人後來成為民主革命的知名人士和學者。
這一時期，蔡元培的思想趨向激烈，開始突破改良主義思想的藩籬，傾向革命。1902年春，蔡元培與在上海的新派人物蔣智由（觀雲）、林獬（少泉，後改名白水）、葉瀚（浩吾）、王小徐（季同）等發起建立團體，定名為中國教育會，蔡元培被推舉為會長。中國教育會在宣傳反清革命，聯絡東南地區革命同誌以及改良教育等方麵，都起過一定的作用。
1902年底，南洋公學學生因不滿學校當局的高壓政策發生了退學風潮，蔡元培支持並參加了這次學生運動。經他提議，由中國教育會資助，這些退學生組成了愛國學社。蔡元培被推舉為學社總理。他為籌措學社經費，不顧愛子重病親赴南京借款；登輪之際，家人趕至報告長子夭折噩耗，他忍痛委托友人料理後事，揮淚北上。這種“臨難不亂，承諾不苟變”的精神，使友人無任欽佩。學社章程規定：“重精神教育，重軍事教育，而所授各科學皆為鍛煉精神、激發誌氣之助。”蔡元培也要求“用吾理想普及全國，如神經係之遍布腦筋於全體”。認為“學社果能達此希望”，則“吾中國之前途，實大被其影響”。這同樣清楚地表明了他辦學的目的。在學社成立之前，蔡元培還與友人發起組織了愛國女校，開始由蔣智由任經理，不久蔡元培繼任，學生為發起人眷屬，後逐漸增加外來學生。他在愛國學社注重培育學生的革命精神，鼓勵學生自由閱讀，定期帶領學生舉行革命演說。他這時已“公言革命無所忌”。他和章太炎等組織張園演說會，宣傳反清革命，並針對沙俄在我國東北的侵略活動，號召拒俄救國。他還發起組織保國會，聯絡同誌，擴大影響，並在《蘇報》發表《釋“仇滿”》等重要文章，正確地指明了民主主義的革命要求，反對了當時在一些革命者中流行的排滿之說。他自己也斷發短裝，與學生一起進行軍事操練。中國教育會和愛國學社的革命活動，曾引起清廷的注意，當時上海商務大臣呂海寰曾致函江蘇巡撫恩壽，密告“上海租界，有所謂熱心少年者在張園聚眾議事，名為拒法拒俄，實則希圖作亂，請即將為首之人密拿嚴辦”。清政府則下令“嚴密查拿，隨時懲辦”。1903年6月，蔡元培因學社內部糾紛，憤而辭去職務，赴青島習德語，準備到德國留學。不久即發生了章太炎、部容被捕，《蘇報》被查封事件，蔡元培以無畏精神於9月返回上海，繼續從事革命活動，並經常到獄中探望章太炎和鄒容。同年底，他與王小徐、蔣維喬等發起組織“對俄同誌會”，並參與創辦《俄事警聞》報（後改名《警鍾》日報），它繼承了《蘇報》傳統，采用白話和插圖形式，廣泛宣傳反對沙俄侵略和革命的思想。蔡元培為辦好這份報紙付出了極大心血，除了編輯和瑣碎的社務工作外，“每晚總須撰寫兩篇論文——一篇文言，一篇白話。那時先生右手凍瘡潰裂，腫得好似饅頭一般，我記得先生右手套了一隻半截露指的手套，將左手放在大衣袋裏取暖，仍舊冷冰冰的坐在那裏工作”。
其時，蔡元培認為，革命主要是通過暴動和暗殺兩個途徑，因而熱心介紹俄國虛無黨的曆史，鼓吹暗殺主義。1904年，經何海樵介紹加入秘密暗殺團，並邀鍾憲鬯（期光）、俞子夷參加，在英租界秘密從事炸彈的研製。俞子夷曾回憶說：“蔡師知道我對化學有興趣，囑我研製毒藥，所需器材由科學儀器館供應。……我課餘讀書，試驗，試製氰酸，一試即成。蔡師囑工友弄來一貓，強令其服，隻幾滴，貓即中毒死。蔡師認為液體毒藥，使用不便，易被人發覺，必須改製固體粉末。於是向日本郵購了一批藥物學、生物學、法醫學等書，從事研究，但無大進展，而研究的對象，不久即轉向炸藥。試製炸藥有個秘密組織，人數不多，地點在冷僻的弄裏，鄰近全是貼召租的空屋”。開始時，蔡元培等人采用飲血誓盟的方式，以一紙書黃帝神位等字，供於上方，殺雞滴血於酒中，他們跪地宣誓，並飲雞血餌，然後由蘇鳳初開始教授。陳獨秀、章士釗、劉光漢等隨後也加入這個秘密組織。陳獨秀後來曾回憶這段經曆說：“那時楊篤生、何海樵、章行嚴等，在上海發起一個學習炸藥以圖暗殺的組織，行嚴寫信招我，我由安徽一到上海便加入了這個組織。住上海月餘，天天從楊篤生、鍾憲鬯試驗炸藥。這時孑民先生也常常來試驗室練習，聚淡”。蔡元培為了貫徹他認定的暴動和暗殺是革命的主要手段，因而注意在愛國學社學生中種下暴動的種子，在愛國女校學生中種下暗殺的種子。他為愛國女校寫的校歌有“特殊新教育，舊法新俄吾先覺”句，並設有法國革命史，俄國虛無黨史以及化學等課程，意在訓練青年女子實行暗殺以貫徹俄國虛無黨的主張。有人回憶，蔡元培出任北京大學校長後，在校長室玻璃櫃裏還陳列當年製作的炸彈，這也許是他對這一段革命生涯的懷念和紀念。
1904年秋，蔡元培、章太炎等在上海發起組織革命團體光複會，又稱複古會。蔡元培被推舉為會長。它以“光複漢族，還我河山，以身許國，功成身退”為宗旨，成為東南地區一個重要的革命組織。陶成章、徐錫麟、趙聲、秋瑾、柳亞子等都先後加入。1905年7月，孫中山領導的同盟會在日本東京正式成立，不久蔡元培即在上海宣誓加入，並由同盟會總部委派為上海分部負責人。此後，他曾陸續介紹一批革命誌士加入同盟會。黃炎培曾記述他入會經過：“民國成立前七年乙已秋，吾師忽召至其寓廬，鄭重而言曰：‘我國前途至危，君知之矣。諸強虎視於外，清廷魚爛於內，欲救亡，舍革命無他道。君謂然乎？’則敬答曰：‘然’。曰：‘欲革命，須有組織。否則，力不集，事不成。今有會焉，君亦願加盟乎？’則敬答曰：‘苟師有命，何敢不從’。期以某日深夜宣誓，出誓文，中有句：‘建立民國，平均地權，驅逐韃虜，光複中華。’吾師即指‘平均地權’句說明其理由。小子卒在吾師之前，宣誓加盟焉。”
1907年蔡元培獲得赴德留學的機會，使他多年的願望得以實現。他此時去國遠行，固有“所圖皆不成，意頗倦”的原因，同時也反映了他有“學成救國”的思想。離滬前，他把同盟會會務交給黃炎培，據黃炎培回憶：“一日，語我：救中國必以學。世界學術德最尊。吾將求學於德，而先赴青島習德文。言吾所任同盟會幹事，君其代我可乎？則敬諾。”他在北京等候赴德期間，曾應聘到京師大學堂譯學館講授國文和西洋史。京師大學堂是北京大學前身，故蔡元培後稱他在譯學館任教是服務北京大學的第一次。1907年6月，他以41歲的老學生身份，抵德半工半讀，翌年入萊比錫大學，研讀有關哲學、文學、人類學等課程，尤對美學、美術史發生濃厚興趣，並翻譯出版《倫理學原理》，編著了《中學修身教科書》五冊，《中國倫理學史》一冊。在德四年，他繼續從事革命活動。
1911年辛亥革命爆發時，蔡元培正在德國萊比錫大學留學。年底，奉孫中山之召回國，第二年一月出任南京臨時政府教育部長。南北統一後，又繼續擔任北京政府教育總長。在此期間，他著手改革封建教育製度，仿照西方資產階級的教育製度，建立起我國近代的教育體製。他在《對於教育方針之意見》一文中，把清末學部製定的忠君、尊孔、尚武、尚公、尚實五項為封建統治服務的宗旨，改成為國民教育、實利教育、公民教育、世界觀教育和美育五項，刪去了違背共和政體和不合信仰自由原則的忠君、尊孔兩項教育宗旨。他強調新的五項教育宗旨中以公民道德教育為中堅，並以法國資產階級革命時期提出的自由、平等、博愛作為公民道德教育的綱領。他重視世界觀教育，即開設哲學課程，目的兼采周秦諸子：印度哲學及歐洲哲學，以打破二千年來墨守孔學的舊習；同時，他又主張以美感教育作為世界觀教育的重要內容，以破除人生為小己所役，一切事功以自利為前提的弊害，達到超利害，忘人我，利國福民的境界。蔡元培還主持改革學製，修訂課程，改正不合共和宗旨的教科書，小學廢止讀經，初級小學實行男女同校，各省學堂一律改稱學校。他還積極誰行義務教育和社會教育，在教育部除設普通教育司和專門教育司外，又特設社會教育司，希望把教育事業從學校擴大到整個社會。蔡元培所提倡的廢止尊孔讀經，實行思想道德教育，普及平民教育等進步措施，以及他提出的“養成共和健全之人格”的教育方針，都反映了新興資產階級為富國強兵、發展實業而建立新教育的要求，適應了當時鞏固剛建立的共和製度的需要，具有反封建的積極意義。