當時特班的學生都想學日文，元培便用他半生不熟的日文教學生選讀政治、法律、外交、財政、經濟、哲學等門類的專業書，要求學生每日撰寫劄記。其主旨“蓋在啟發青年求知欲，使廣其吸收，由一己觀念進之於國家，而拓之為世界。又以邦本在民，而民猶蒙昧，使青年善自培育其開發群眾之才，一人自覺，而覺及人人。其所詔示，千言萬法，一為之愛國”。在諸多學生中，他最欣賞邵力子、李叔同、黃炎培、王世澂、洪允祥等人。
蔡元培在上海的文化教育界中已日漸活躍。他所從事與新教育相關的有兩件事：一是籌辦“愛國女學校”，一是發起“中國教育會”。
愛國女學校由蔡元培夫人黃仲玉首倡，取得上海猶太富商哈同夫人羅迦陵女士的獨力支持，再由蔡元培和蔣觀雲等人租校舍，於光緒二十七年（1901）冬正式成立。早期學生人數僅有十名左右。中國教育會則由元培和上海文教界人士葉瀚、蔣觀雲、黃宗仰等人共同策劃，由蔡元培任會長，成立於光緒二十八年（1902），主張革新，因無經濟支持，早期僅從事文字方麵的鼓吹而已。
光緒二十八年，元培三十五歲，開始學習拉丁文，天主教徒馬相伯是他的老師。蔡元培認為拉丁文是歐洲各國語文的根本，各國語言多源於拉丁文，若不通曉，則無法了解西洋的一切古代文化。他還選派了24個學生，和他一齊向馬相伯學習。後來，馬相伯就以這批學生做基礎，創立了震旦學院，也就是震旦大學的由來。
這一年，蔡元培趁暑假赴日本旅遊，卻遇上了東京留學界的“成城學校事件”。成城學校是專為中國學生而設的軍官學校預備班，吳敬恒奉兩廣總督之命，帶領速成師範學生到日本留學，其中9人擬入成城學校，清駐日公使拒絕保送。吳向公使抗議，被召日警驅逐出境。吳敬恒回國船中和蔡元培相遇。
兩人“大談立憲之不可成，皆知革命之不可已”。7月10日船抵上海，中國教育會同仁發起歡迎大會。會中決議由教育會自設學校，自教子弟，毋須赴日本留學。
於是教育會遂有自辦學校的計劃。
吳敬恒同入南洋公學任教，卻因他發生了轟動一時的退學事件。同年10月17日，導火線是一個小小的墨水瓶，引起特班學生犧牲其保舉經濟特科的資格，相率退學，蔡元培也引咎辭職。而原因是吳敬恒和校方發生衝突，有十數名學生遭開除，吳亦辭去。
這個事件對清末學界的影響無比重大。蔡元培和吳敬恒、章太炎、蔣維喬等，便在中國教育會的二樓成立“愛國學社”，社員55人，都是南洋公學的退學生。
學社社員勸其姊妹就學，自此女校學生漸多。愛國學社成立後，蔡元培等幾個具有進步和革新思想的人士，從此與一群熱情奔放的青年學子日夕相處，彼此間互相影響，言論和思想都有了急劇的發展，不久便激起更大的浪潮，震撼了上海甚至整個中國。
光緒二十九年（1903）1月間，由於中國教育會的言論十分激烈，引起守舊人士利用《申報》加以譏評。吳敬恒主張在《蘇報》上，由元培、章太炎和他輪流撰寫文章跟他們對抗。鄒容遺著3月間，章士釗等31名南京陸師學堂學生集體退學，在蔡元培的協助下加入愛國學社。同時，浙江大學堂也爆發學潮，退學生自建“新民塾”，並電請蔡元培和吳敬恒前往支持。
當時仇滿的情緒已日益高漲，蔡元培發表《釋仇滿》一文，發表在《蘇報》上。認為種族之別，一是血液，一是風習，滿人血統與漢族混雜既久，其語言文字風習亦已為漢族所同化。所謂滿人，不過是在政治上擁有世襲爵位、不管實業而坐食特權的一個記號而已。隻要滿人自覺放棄其特權，則漢人絕無殺盡滿人的必要。
3月底，跟著又有拒俄運動的展開，蔡元培剪了頭發，和誌願加入“拒俄義勇隊”的96名學生，穿上製服，早晚訓練，準備抵抗俄國侵占中國東三省。可是，清廷不但沒有明白青年學子的愛國熱誠，反以為他們是在陰謀造反，而加以強烈的壓製，結果隻有迫使急進的青年走向反清的道路。
5月間，鄒容的《革命軍》和章太炎的《駁康有為論革命書》兩本巨著先後出版，尤其轟動一時。
中國教育會會長於此時改由黃宗卿擔任，卻鬧起會與社誰為主體之爭。章太炎主張不與學社合作，吳敬恒較袒護社員。蔡元培原本態度溫和，不隨便袒護一方，但一向保持和平態度的蔡元培卻為吳敬恒的一句刻薄話所激怒，忿然道：“我本要上德國留學去，我辭去會和社的事。”
說罷即離去。眾人雖予挽留，但他去意已決，略整行裝後，於20日乘船離開上海，臨行時各人都去送別。
蔡元培離開上海不過半個月左右，轟動一時的“蘇報案”便發生。章太炎和鄒容被抓，吳敬恒逃匿，愛國學社亦遭波及而解散。案發時，蔡元培正船抵青島，接到他哥哥蔡元堅發來的電報，說“清廷已與德使商定，電青島德吏捕蔡某”雲雲。元培隻好返滬，又重新參與上海誌士的活動，這時，適逢俄人進兵奉天，蔡元培便與劉師培等發起“對俄同誌會”，參加會員有百餘人。
光緒三十年（1904），元培在《俄事警聞》上發表了一篇《新年夢》，主張說：“我們意中自然有個中國，但我們現在不切切實實造起一個國家來，怕永遠沒有機會了。”又提出了外交方麵應辦的三件事：一、恢複東三省。二、消滅各國的勢力範圍。三、撤去租界。這篇文章，頗能反映出他這時的思想。
對俄同誌會並以《警鍾日報》為機關報，報紙的編輯工作初由王小徐負責，其後嬗於蔡元培。他主持到這年6月間，因接任愛國女學校校長，編輯工作才由汪德淵接任。《警鍾日報》後因揭載德人經營山東的密謀，觸怒德國領事，報紙被封禁，拘去五人，上海的革命言論機關至此又遭遇挫折。
蔡元培重掌女校校政之後，除了在文字和教育方麵努力鼓吹之外，與國內的秘密革命運動更建立了深厚的關係。1903年在東京成立的“軍國民教育會”本因拒俄而起，但後來改組變成一個秘密從事革命活動的團體，並有“暗殺團”的組織，由楊篤生主其事。
軍國民教育會會員黃興歸國後，創設“華興會”，擬於1904年慈禧太後七十歲生辰之日，發動長沙等地起義。楊篤生回上海，別樹“愛國協會”，由他擔任會長，章士釗副之，蔡元培、陳獨秀、蔡鍔等也同時加入。
東京原有“浙學會”的組織，由陶成章主持。陶成章回滬後，和元培等人又在上海成立一個新的革命團體，叫做“光複會”，以擴大暗殺團組織為目的。跟著光複會的東京分部也正式成立，魯迅等人也參加進來。元培加入光複會後，即邀請徐錫麟入會，並介紹徐與陶相識。
蔡元培參與暗殺組織，專學製造炸彈，賃屋購儀器藥品，由黃興帶來十餘枚彈殼，遂填以炸藥。吳樾暗藏炸彈，計劃行刺五大臣於北京車站，不幸炸藥誤發，竟以身殉。