1826年，耶穌會在上海設立神學院，由晁德蒞神父主持，開始收了11個初學修道的，其中9人是從徐彙公學畢業學生中選拔出來的，23歲的馬相伯也進院專修士，穿上了修士的黑色製服，接受神修訓練，每天除聽講關於精神進修和耶穌會曆史的課程外，還被派出照顧病人，給垂死的人宣講天主教義。耶穌會傳教注重宣講、著述和教育，神學院的修士，必須在文學方麵再深造，馬相伯研究了兩年中國文學後，開始進修數理、哲學和神學，並學西洋數學中的代數、幾何、三角。馬相伯弄昏了頭，就利用課餘時間翻閱中國古代算術，但將中國算術中的赤方、王方等同西方的開方對照起來，也莫名其妙。為研究數學，他幾乎發狂，在晚上睡覺時，仰天望著帳頂上，都會隱隱約約出現許多數學和公式，連做夢時，也發現四處都是數字和公式。功夫不負苦心人，馬相伯終於融會貫通了中西數理。晁德蒞神父看見馬相伯課餘時間，常悶著頭翻中國古代算術有點不解，便問：“馬生，為啥不複習數學功課，看這種閑書？”馬相伯放下中國的《九章》書說：“我在尋找中西數理有無相通之處。”“哦，找到沒有？”晁德蒞感興趣地問。“我發現中國的勾股，就是西洋數學中的微積分，而中國所謂‘方程’，就是西方數學中的比率。”馬相伯一邊說，一邊在紙上寫。他在研究時，如有心得和新發現，就做筆記，題為《數度大全》，共有120卷。“中國人早知道算圓周率的方法，並與西人的算術，不謀而合，西人算圓周率是3.1416，中國圓周率是22/7的得數與3.1416一樣”。晁德蒞點頭稱道：“中國人並不比西洋人笨，上帝也與你們中國人同在。”“中國人犯有一種毛病，對於無論那種學問，太不求甚解，許多西方發明的科學，在中國很早已經發現，可是說不了原因，也不肯探究其原因。”馬相伯若有所思，在研究科學時，吸取這種教訓，不研究明白，不見底不肯放手。
馬相伯花了四年時間在大學院學哲學和神學。他31歲時，經過考試，得了神學博士學位，並授職司鐸（神甫），他正式在學校讀書的20年的生涯總算告終。馬相伯考慮再三說：“學問社會，世界人類所共有，不必分中西以立異也，出處行藏，是人對於國家民族所獨有，不能稍事通融。予立於泰西信仰社會，及種類學術之社會，盡彼所長，轉授國人。此世界公共之學，從吾所好，與世界同此社會，即與世界同盡其能。故西人學位名位可受，西國官爵富貴不可受。諛西人而挾本國之富貴，更為可恥，前有洋奴，今有漢奸，君子不為。”外國教士看不起中國人，又嫉妒馬相伯的才能，派他到徐州一個小鎮教堂管理教務。1871年，徐州水災，馬相伯向長兄馬建勳要了2000兩白銀救濟災民。這事被法國耶穌會教士知道後，認為未經教會同意，擅自使用銀兩，是犯了教規，將馬相伯幽禁在上海耶穌會內“省過”，馬相伯實在想不通：“周恤貧困，也是仰體上天好生之德，而盡了做人的本份。”馬建勳因參讚李鴻章營幕戎要，因防禦太平軍有功，在淮軍辦理糧台，得知相伯弟被禁的消息後大怒，帶了幾十名兵卒，向教會問罪：“我用自己的錢救中國災民與你們外國人有什麼相幹？”教士從沒看見這陣勢，嚇落了魂靈三聖，隻好放了馬相伯。翌年，75歲的馬鬆岩去世，馬相伯悲痛萬分，急告在天津隨李鴻章辦洋務的弟弟馬建忠和在淮軍辦理糧台的長兄馬建勳，兄弟三人按天主教會的規矩，為父親舉行葬禮。教會又派馬相伯擔任徐彙公學校長，兼管教務。他兢兢業業從事學校行政管理和教學安排，新生專讀中文，舊生兼讀法文，還要學習八股文，馬相伯雖是神甫，但對學生講授中國經、史、子、集諸文，卻很深入，他親自送學生去應童子試，在他校長任內，學生考中秀才的有60餘人。教會又認為這樣下去，怕他把學生變成異教徒（孔教），派他兼任耶穌會編撰，研究數學，馬相伯原來很歡喜數學，雖然早年寫的《度數大全》筆記已經散失，但他仍化費一年心血盡全力譯著書籍百餘卷，名為《數理大全》。因教會中一部分外籍教士不讚成，又沒有人能鑒別他譯著的好壞，故令將譯著束之高閣，不予印發，譯稿逐漸蠹壞。教會對他仍不放心，1875年不要他做校長，調派他專門研究天文，徐家彙隻有一架明末利瑪竇用過的天文儀器，無法進行研究。1876年教會又派他到南京，專任編撰，翻譯數理諸書，馬相伯很不耐煩，肚裏轉念，在徐家彙已譯著有《數理大全》百餘卷，不為我印行問世，再多譯著又有什麼用場？更使他不能忍受的是南京教會中的一個極齷齪的外國廚子，做的飯食簡直不能下口，很不衛生。越想越氣，馬相伯就不辭而別，獨自跑到上海，退出了耶穌會，不再做神甫，但仍信仰天主教。