馬相伯的教育思想精粹，在他於1935年95歲時發表的文章《從震旦到複旦》中，歸納為“以下數種信條：一是不談教理；二是注重文藝；三是崇尚科學”。
振興中國辦教育
馬相伯本人是一位真誠的、人格高尚的宗教家，他維護宗教信仰自由，不受政治幹涉，他讚成廣大人群“信仰‘無邪術害人’的宗教”。他認為：“神學為我們宗教徒必修的科學，而且為最高的學問。”他本人就是神學博士。但是，他指出，“神學的對象為第一原理，為造物主，其最終解答為不可知”，而他麵對的時勢，卻是“我中國其危急存亡之秋乎：各國乘我中國之罷敝，奪我疆土，淩我黎民，占我政府，拒我使臣，國恥孰甚！”他辦學的動因在於“慨自清廷外交淩替，一不知公法，二不習製造，入手工夫則文字尚無”，因此，當務之急是教育救國！因而他確定的辦學方針是“廣延通儒治泰西士大夫之學”，而不是神學。是“俾吾國有誌之士得以研究泰西高尚諸學術，由淺入深，行遠自邇，內之以修國民之資格，外之以栽成有用之人才”。他認為，“文化之發皇也，不於其茁芽之地，而於其移殖之地”。中國有過光榮的曆史，“四千六百年中，年表同時代，幅員同廣袤，政治同開一統，文治又同冠千古於古三大部洲者，非西漢與西羅馬歟？”但當今中國落後了，“處積弱之地，矇聵閉塞，於斯為盛……乃欲發聾振聵，力圖自強”，必須“治泰西士大夫之學”，“溝通泰西學術之源流”，引進和移殖泰西各國的近代政治哲學和科學技術，“以光榮其祖國”，“以金碧輝煌我國土”。既然旨在教育救國，所以“不談教理”。這便是馬相伯從創辦震旦到創辦複旦所一再堅持的基本原則，也是這位有著深厚的宗教信仰背景的老教育家極為光輝的愛國主義教育思想。
馬相伯指出，泰西士大夫之學“分文學、質學（日本名之曰科學）兩科”。1903年，他為震旦學院製定的文學課程包括正課三種：古文（如希臘、拉丁文文字），今文（如英吉利、德意誌、法蘭西、意大利文字）和哲學（論理學、倫理學、性理學），包括附課三種：曆史、輿地和政治（社會、財政、公法）。可見，他所指的“文學”或“文藝”，即人文科學和社會科學。為什麼要重視泰西語言文字的學習呢？其中一大原因是“泰西科學製造，時有新知，不識其文，末由取益，必至彼已累變，我尚懵然；劣敗之憂，甚為可懼”。他規定，學院采“法國哲學大家笛卡爾之教授法，以國語講，隨授隨譯，譯成即可為他校課本”。為了使年輕的通儒（秀才、舉人）經過“議定急就辦法”，迅速培養成為中國議會政治的治國人才，他提倡學生多上台演講，“以便習練語言，磨礪識力”。因為“中國將行立憲，此後中央政府、地方自治皆有聚集會議之事，其聚散之儀文，辯論之學術，諸生允宜亟講！”他反對八股取士的“奴隸之學”，鼓勵學生“開宗明義，力求自主”，“有堅忍不拔之氣，強立不返之誌，旦而矢之則萬變不離”，才能成為治國人才。
馬相伯以物理學、化學、象數學為“質學正課”，動物學、植物學、地質學、農圃學、衛生學、薄記學以及圖繪、樂歌、體操為“附課”。他指出要發展實業，必須“熱心中國科學運動”，因為“科學製器，利用厚生”，有利於政府“用國貨、造國防”，人民“按科學造食、用所需”。他推崇明人徐光啟“從西洋人利瑪竇學天文、曆算、火器，盡其術”，“督修曆法，參用西洋新法，此科學在中國第一次之大貢獻”。可惜其後三百年，中國喪失了發展科學的機遇，而今更為迫切要習泰西科學。他特別指出，為了培養中國科學建國的人才，必須愛護兒童的好奇心和好動的傾向，以及時時發問的興趣，要十分小心地培養兒童的幻想力，利用他們這種幻想力發展他們創造的天才，因為富於幻想力的兒童便是他的天才之萌芽。
倡導教育改革
傳教、從政都不能使馬相伯的救國理想得以實現。於是，他開始認為救國方策便是“根本改革教育製度”。當年遊曆歐美，頗有創設與歐美大學並駕齊驅之中國新型高等教育以救國之豪氣。後因變法失敗，政局動蕩，自己又年老體衰而作罷，但其興學育才的念頭一直沒有息。1900年，馬相伯立下捐獻家產興學字據，將祖傳遺產——鬆江、青浦良田三千畝，捐獻給天主教耶穌會“江南司教日後所開中西大學堂收管，專為資助英俊子弟斧資所不及”，期待能“托耶穌會團體，以期長久”。