此時，馬相伯教授拉丁文很有成績，風聲所播，雲南、陝西、山西等各省有誌之士都不遠千裏來滬求學。人數增加，也有擴大之必要，馬相伯就創辦學院，定名震旦，“震”為“秦”字的諧音，係古代外國對中國之稱呼，“旦”即“早晨”，“震旦”意為中國之曙光。在初創時，既無校舍，又無師資，馬相伯憑其社會關係，借天主教徐家彙天文台餘屋為校舍，聘耶穌會教士為義務教師。馬相伯自任監院（院長），因擔心個人勢單力薄，不能持久，就請托耶穌會團體主辦，以期長遠。由於耶穌會在兩年前曾接受過馬相伯的捐獻，同時也想借他所辦學校，傳播教理，就同意出麵支持。馬相伯將鬆江、青浦兩縣良田3000畝作為學校基金，當時地價值120萬元，後為了在盧家灣購地和建校舍，又捐獻現洋4萬元和英法租界地八處，當時價值10萬餘元。
當時，震旦有四個特點：一是尚自治，院內各部分實行學生自治製度。在馬相伯監督之下，悉歸學生管理，稱為幹事，除項微塵任總幹事、鄭子漁任會計幹事，為固定職務外，其餘幹事，在學期開始內學生選舉，輪流擔任。二是導門經，學院學業，僅限二年。馬相伯注重開示門經，養成學者自由研究的風氣。三是重演講，學院每逢星期日，馬相伯就召集學生進行演說，或主持討論學術，或研究時事，習以為常。他本善於演說，高談闊論風趣橫生。學生繼承他衣缽，出校門後，從事政治革命運動，受用不盡。四是習兵操，規定人人必習兵式體操，並請法國駐滬軍人為教官，有時還領學生荷槍實彈到法國兵營打靶，當時有人在道前說他壞話，他也沒有停止軍訓。不久，愛國社受《蘇報》案牽連，自動解散，其餘學生轉震旦。因此，震旦學院的學生具有民主思想。
馬相伯繼承中國書院傳統，吸取外國研究院特點，用名儒師徒傳授辦法，以60多歲高齡，親自教授拉丁文、數學、哲學，編寫《拉丁文通》、《致知淺說》為教材，視學生為家人子弟，共食同遊，循循誘導。馬相伯雖世奉天主教，但在院章規定教師上課，不談宗教；學生在院，不談政治。要學生專心學業。陝西青年於右任，1904年趕赴河南開封參加會試，這時他的《半哭半笑樓詩鈔》問世，洋溢著反清激情的詩篇，引起清廷驚恐，遭通緝。幸得友人相助，他匆匆離開到上海避禍，困處同鄉吳仲旗家中，無以為生。馬相伯便招他入學。當時《蘇報》案發生後，清廷很注意這類人和事，有人認為馬相伯這樣做法，不利於學校，馬相伯卻毫不畏懼。於右任入學震旦時，馬相伯為避開當局找麻煩，替他改名“劉學裕”（留學於的諧音）登記注冊。從此，於右任到馬相伯門下，並很快成了馬家弟子。當時革命學生中還有張鼎丞、李青崖、徐朗西、葉仲裕等。針對當時求學為做官的一種惡劣風氣，馬相伯說“予意古之學者，學而為人；今之學者，學而為官。今之學校，專在學位。課本而外，別無所求；分數既足，即可求官，舉國學子，趨忙於幹祿一途，無怪西人目中國為官國。予創震旦，故欲諸生習實學而轉授國人，為學幹祿者戒。”
在日本東京的梁啟超，聽到震旦學院成立的消息，十分高興，寫了《祝震旦學院之前途》一文：“吾聞有震旦學院設，吾喜欲狂。吾今乃始見我國得一完備有條理之私立學院，吾喜欲狂。該學院總教習為誰？則馬相伯先生，最精希臘、拉、美、法、意文字者也。”