慧遠所處的時代，正是“城頭變幻大王旗”的時代，但他仍然追隨道安到處宣傳佛教理念。4世紀中葉，前秦苻堅統一了北方，準備向南進軍，消滅東晉，實現全國的統一，時局正處於風雲變幻時期，慧遠跟隨道安法師到當時屬於東晉管轄的襄陽宣揚佛法。後襄陽被前秦軍隊攻陷，信奉佛教的苻堅命令前秦軍隊扣留道安法師，道安便遣散徒眾到各地去傳教。臨行前，道安對弟子們一一給以誨勉，唯獨對慧遠不發一言。慧遠跪在師前問道：“唯獨不給我什麼教誨，是認為我不值得教導嗎？”道安說：“像你這樣的人，難道還有什麼可以擔憂的嗎？”於是，慧遠等一行十餘人告別了道安，南下荊州。從此，慧遠終生再也未得與道安師傅相見。
慧遠告別恩師，率領弟子數十人往廣東羅浮山。途中經過江西潯陽時，慧遠愛惜廬山幽靜秀麗而閑曠，於是在此落腳弘揚佛法，後來在他人幫助下建立了東林寺。
慧遠隱居廬山從事佛教事業長達年，這是他一生中最重要、最輝煌的時期。一方麵慧遠幾乎是足不出戶，潛心研究，形成了自己的理論基礎。在研讀經典過程中，他感到當時南方佛經很不齊備，禪法無聞，律藏殘缺，就派遣弟子法淨、法領等人遠度蔥嶺，尋求佛經。這些弟子跋山涉水，曆盡艱辛，從西域帶回《方等》新經二百餘部，得以傳譯。另一方麵，他虛心求學，能夠注意兼容並蓄，僧伽提婆南遊廬山，慧遠請譯《阿毗曇心經》和《三法度論》，並作序提倡，由此開南方毗曇學的端緒。他致書曇摩流支請求補譯《十誦律》，使佛典律類著作有較完備的譯本。他還派人去邀請覺賢禪師到廬山，此舉推動了南方禪法的流行。當時鳩摩羅什所在的長安和慧遠所在的廬山是最有影響的兩大佛教中心，慧遠不僅向他致書通好，交流佛教譯本，並派遣弟子前往聽講問道。後來聽說羅什要回本國，他馬上作書，詳細詢問佛經中數十條疑問，請鳩摩羅什批釋。羅什一一作答，現存十八章。綜觀慧遠的學識，佛教徒稱佛學是內學，把儒、玄叫做外道。慧遠不僅精研佛學，而且兼通經學和玄學，一身兼儒、佛、玄三家。他認為儒、佛、玄三家作為統治思想來講，立場基本上是一致的，所以主張“內佛外儒，可合而明”，認為以佛學為主，以儒玄為輔，達到合而為一的目的。慧遠還極力倡導“彌陀淨土法門”，並創設蓮社，並最終形成了淨土宗，因此被後世淨土宗僧人推尊為初祖，東林寺也成為我國佛教淨土宗的發源地。
慧遠弟子甚眾，且多為佛門龍象，為佛教的廣泛傳布和發展做出功德事業。慧遠不僅利用他的聲望扶植、資助師兄弟和門人弟子在廬山興建數以十計的寺院，還結交名士、達官顯要，甚至是農民起義軍的領袖人物，利用這些人的權勢、聲望等為其佛教事業服務，取得了極大的成功。416年，慧遠卒於廬山東林寺，享年83歲。著名詩人謝靈運曾為他寫了一篇碑文《遠法師誄》。南齊僧人道慧讀了慧遠的文集，慨然歎息，恨自己生之晚也，未能親見慧遠。為了實現夙願，他和另一個僧人智順溯流千裏，到廬山觀看慧遠的遺跡，在那裏流連了三載才回去。