馬相伯自幼就讀於私塾，對傳統教育之弊端深惡痛絕，而教會學校卻在某種程度上將他領入了科學的殿堂。所以，當他想興校辦學，又感到“個人之建設，勢不能久”時，便自然而然地想依托教會之力量來完成這種心願。但是，耶穌會接受了財產，卻未辦學。此時，先有梁啟超，後有蔡元培“以求西學必先通其語言文字，而西人教會學校及國人自辦之學校，但為蒙童所設……不合成年人求學之用”的原因，向馬相伯學習拉丁語。後來胡敦複、貝壽同等也參加進來。馬相伯受他們的鼓勵和支持，又目睹許多青年求學無門，毅然以花甲之歲、衰弱多病之體挺身而出，擔起了興學育才以圖強國救國的重擔，於1903年春創辦震旦學院。當時遠在日本的梁啟超盛讚道：“吾今乃始見我國得一完備有條理之私立學校，吾喜欲狂。”
震旦初創時，一無校舍，二無師資。馬相伯憑自己與法國天主教會之淵源，借徐家彙天文台之餘屋為校舍，又以私誼，聘數位耶穌會教士義務任教，教習各國語言。馬相伯自任校長。雖然辦學在很大程度上是借助於教會的力量，但從辦學動機到辦學宗旨，馬相伯均明確是為中國培養傳播西學的人才而不是為教會培養信徒。他說：“慨自清廷外交淩替，一不知公法，二不習製造，人手工夫則文字尚無。……故設震旦。……無他，為科學等根本故。”他毅然宣布了三條辦學信條：“一、崇尚科學；二、注重文藝；三、不談教理。”人院學生遠至川、滇、晉、陝，於右任、邵力子、胡敦複、貝壽同、項微塵、馬君武等均為當時學生。1905年，法國天主教會某些人見震旦學院聲譽日著，陰謀奪取震旦學院的領導權。他們強迫馬相伯“住院養病”，任命法國神父南從周管理學校。“南公盡改舊章”，加強宗教宣傳，企圖改變學校性質，把學校變成法國帝國主義控製下的教會學校，“學生抗不從命”，全體學生集體退學。132名學生中簽名退學者達130人。馬相伯毅然支持學生的愛國主義行動，辭職離校。震旦學生的退學行動，是為抵製外國傳教士的侵奪，捍衛國家教育主權，在中國近代教育史上，實屬創舉。至此，馬相伯想依靠教會的力量辦中國新型大學，培養新型人才以強國救國的幻想破滅了。
震旦學院停辦後不久，馬相伯即召集離校學生商議複校辦法，推定於右任、葉仲裕、邵力子等人協助他籌辦複校事宜。社會各界人士對震旦師生深表同情，通過各種途徑給予援助。兩江總督南洋大臣周馥將吳淞提鎮行轅借給他們做臨時校舍，並撥發一萬兩銀子作為學校開辦經費。他們還聘社會名流嚴複、曾鑄、薩鎮冰、熊季廉、袁觀瀾、狄葆賢等28人為校董，協助募集學校基金，共同管理學校。在由嚴複領銜的《複旦公學募捐公啟》中開宗明義地指出：“以中國處今日時勢，有所謂生死問題者，其惟興學乎。問吾種之何由強立？曰惟興學問。民生之何以發舒，曰惟興學問。”教育救國之觀念更為堅定突出。為與法國天主教會盜用震旦之名的卑劣行徑針鋒相對，登報宣稱“更名複旦公學”。複旦者，隱含恢複震旦之情，又具複興中華之意，是一個迫不得已又寓意深遠的命名。1905年9月14日（陰曆八月十六日），複旦公學在馬相伯、嚴複、熊季廉、袁觀瀾及全體學生的努力下，正式開學。馬相伯被公推為第一任校長。從1905年到1911年的7年中，複旦公學培養出四屆高等正科畢業生共57人。其中不少人後來成為著名的政治家、教育家、科學家和工程技術人員，如張大椿、胡敦複、於右任、邵力子、陳寅恪、竺可楨等。
辛亥革命後，複旦由公立轉為私立。複旦公學改為複旦學院，擬建成哲理、文學、政治、象數、理化各科大學。馬相伯感歎說：“民國光複，吾複旦亦光複矣。吾十餘年來所夢想共和政府下的學校，今始遂願矣。”此即複旦大學之前身。今天，複旦大學已成為中國高等教育界東南學府之重鎮，並以其治學嚴謹、學科齊全、師資雄厚而逐步發展成為一所在國際上有影響的學術中心，這與當時的創始人不懈努力、慘淡經營是分不開的。可以這麼說，沒有馬相伯，就沒有今日之複旦大學。