馬建忠跟著李鴻章搞洋務自強救國，屢遭挫折，又被李鴻章斥責“辦事一味空闊，未能處處踏實”。他就於1893年離開李鴻章幕府，閑居上海眉壽裏，以著譯為業。
馬建忠留學法國，精通英、法文字以及希臘、拉丁文。在幫辦洋務中深切體會到，外國公使傲視京師，欺淩清廷，外國強占中國口岸，對抗中國官員，外國大小商人盤踞租界，削弱中國工商業，各種外國傳教士散布在中國境地，蠱惑中國民眾，都是因為中國的官員苦於中西語言不通，不能遍覽外國書籍，不了解外國風尚。為了讓人們盡快地掌握語言工具，以便於學習固有的文化，同時了解西方，有效地開展外交活動，不受到欺淩，他開始著述《馬氏文通》。
此時，馬相伯從歐美回後，看到推行新政洋務仍然無甚實效，失望之餘，謝絕交遊，不問政治，埋頭書齋，與胞弟建忠切磋琢磨，取四書、三傳、史、漢、韓文為曆代文詞升降之崇，兼及諸子、語、策，為之字節句比，旁征博引，寫成《馬氏文通》。馬相伯認為舉例太多，有礙青年讀者的時間和精力，就刪去三分之二。1898年冬，《馬氏文通》由上海商務印書館出版，竹紙六開本線裝，1卷1冊，分裝10冊。從此語法從訓詁學中分出成為一門獨立的學科，中國人說了幾百萬年的話，作了幾千年的文，可是並不曾知道所謂有係統的文法，直到馬建忠的《馬氏文通》出版，才有中國第一部有係統的古話文的文法書。
1918年孫中山在《建國方略》中寫道：“中國向無文法之學……以無文法之學，故不能率由捷徑，以達速成，此猶渡水之無津梁舟楫，必當繞百十倍之道路也。中國之文人，亦良苦矣！自《馬氏文通》出後，中國學者乃始知有是學。”
1900年7月，八國聯軍攻陷北京，直隸總督兼北洋大巨李鴻章從廣東到上海，囑馬建忠到衙門協理，馬建忠因連夜譯電文勞累，熱病發作於8月14日晨去世。
馬相伯為喪權辱國而痛心，他從歐美回國以後，就有創辦新式大學以救國的想法。認為“自強之道，以作育人才為本，求才之道，尤宜以設立學堂為先。”他想開辦一所新式中西大學，教授歐美各國新知識，使學生掌握先進科學技術。這時，他弟弟馬建忠病故，自己已年逾花甲，怕不能實現辦學願望，就將屬於自己名下的祖遺家產——鬆江、青浦良田3000畝捐給天主教會。但教會接受了他的財產，並不辦學。馬相伯居住上海徐家彙土山灣，此時蔡元培執教南洋公學，兩地有五裏之遙。一天清晨，蔡元培專程來到徐家彙天主教會慈母堂，拜訪馬相伯。蔡元培很誠懇地說：“我意識到拉丁文是歐洲各國語言的根本，各國文的來源，大都出於拉丁。西洋一切古代文化如果不通拉丁文，那就無以了解。”馬相伯點頭道：“你的看法是對的。”蔡元培知道1896年梁啟超來滬辦《時務報》，曾向馬相伯、馬建忠兄弟學習了一年半時間的拉丁文，就說：“梁啟超跟過先生學了拉丁文，我冒昧地要求先生也教我拉丁文，請不吝賜教。”馬相伯同情維新運動，對梁啟超十分器重，曾勸他學習一種歐文且不宜出世太早，於是也對蔡元培勸道：“拉丁文在西洋已成為古董，大學以外，各學校都不大注意。中國學者更沒有搞的必要，況且大家都是中年人了，還有繁重的職務在身。學習外國語，如指望更有用，則非較長時間不可呢，我看還是不要動這個腦筋，能懂些英語就行了。”蔡元培求知心切，再三要求，每天步行而來步行而去，馬相伯為他誠心所感動，就接受了蔡元培的要求，開始教拉丁文，後來蔡元培又選派24名優秀學生到馬相伯處一同學習。1902年11月，南洋公學學生反對學校當局的封建壓迫，200餘人高呼“祖國萬歲”，集體退學。退學學生請示南洋公學特班總教習、中國教育負責人蔡元培協助組織“共和學校”，於是愛國學社成立了。