到了明代，王陽明、鄒守益、湛甘泉、蔣信、尹台、王宗沐等又先後在衡山文定書院、甘泉書院講學，於是宋、明理學、心學在這裏得到較大發展。
紫雲峰下的文定書院和甘泉書院，在我國文化教育史上，也具有十分重要的地位。
明末王夫之則集其大成，批判朱、王兩種主觀和客觀唯心主義哲學，高舉樸素唯物主義和愛國主義大旗，影響後世，極其深遠。所以，清末譚嗣同讚譽其為：
萬物昭蘇天地曙，要憑南嶽一聲雷。
到了清朝時，當時的人們同樣看重衡山書院的建設。代曾國藩在其《重修文定書院記》中曾說：
天下書字，楚為盛；楚之收院，衡為盛。
南嶽儒家文化其代表為書院文化。自古以來，南嶽衡山多書院學宮，據記載，衡山七十二峰書院最盛時多達30多所。其中有嶽麓、石鼓、鄴侯、盧潘、韋宙、清獻、文定、集賢、甘泉、白沙、東廊等18所是全國影響的著名書院。
南嶽衡山不僅書院、學官興盛，而且自古為學者盤恒之地，詩仙李白、杜甫、白居易以及韓愈、柳宗元、劉禹錫、歐陽修、範成大、徐霞客、王夫之、魏源、譚嗣同、黃庭堅、何紹基等名家，都同南嶽衡山結下了不解之緣。他們之中有的遺詩抒懷，有的勒石傳後，至今留下了大量文人學士的墨跡。
衡山全山有各種書體、各個流派的摩崖石刻375處，素有江南碑林之母著稱。南嶽衡山碑文具有一大二奇三絕的特點。如半雲庵的福字，長7米寬4米，成為衡山一大勒石奇觀。天柱峰上的南天柱石，每個字有兩米多高，離1500米之遠就可望見。
南台寺附近的壽字，足有零點七米見方，半山亭的佛字足有1.3米見方，水簾洞的40多處石刻，成為南嶽的石刻群，岣嶁峰、禹王殿前重達七千千克的禹王碑，77字的蝌蚪文，字體離奇古怪，成為一大難解的文字之謎。
嶽麓峰上的麓字碑係唐代大書家李邕所作，因碑文筆力勁秀，詞有華詹，神刀桌技，歎為三絕，素有三絕碑之稱。
曆代文人學士還為南嶽衡山留下了3700多首千古傳誦的詠嶽詩詞、90篇名人遊記，以及大量的民間傳說、神話故事、地方風物、名人軼事等，這些都是南嶽衡山優秀的傳統文化見證。
宋以後，衡山道教漸呈衰降趨勢，知名道士甚少。相應地宋代衡山許多宮觀，因年久失修，漸漸荒廢。
南宋陳田夫《南嶽總勝集》卷上引《湘中記》寫道：
衡山，朱陵之靈台，太虛之寶洞，上承軫宿，銓德鈞物，應度璣衡，故名衡山。下踞離宮，攝位火鄉，赤帝館其嶺，祝融宅其陽，故曰南嶽。
清人魏源在《衡嶽吟》中也說：
恒山如行，岱山如坐，華山如立，嵩山如臥，唯有南嶽獨如飛。
衡山位於湖南中部衡山縣。由於氣候條件較其他四嶽為好，處處是茂林修竹，終年翠綠；奇花異草，四時放香，自然景色十分秀麗，因而又有南嶽獨秀的美稱。
曆元至明清，由於朝廷對道教實行抑製政策，使道教的發展受到遏製，衡山的道教更加衰落。衡山原有宮觀，僅南嶽廟、黃庭觀、九仙觀數處得到修葺，李元度在《南嶽誌》中的記述了南嶽道教的興衰：南嶽道觀，自晉初即有棲真觀、南嶽觀，以後各代多有興建，唐代最盛，多至28所。紅牆碧瓦，綠樹濃蔭，名山小築，風物極佳。可見道教在南嶽衡山一時之盛。
此時，文人與道家往來唱和，也構成南嶽道教文化的一大特點。唐代詩人儲光羲、崔塗、張喬、鮑溶、李群玉、王元等詩人都有詩寄南嶽道人或道觀。道士中不少文化教養較高，玄學修養較深的人，也紛紛著書立說。
如南北朝劉宋時徐靈期即著有《衡山記》，是第一部紀述南嶽的專著。其後唐末道士李衝昭著《南嶽小錄》，宋陳田夫著《南嶽總勝集》，明李常庚撰《瑣碎錄》等。
後來明代的王夫之在《南嶽賦》中記載了南嶽佛家在當時的發展盛況：
其蠖伏而鸞舉也，蓋不給於更數。
光參帝網，威震毒鼓。
位棟君臣，更兼賓主。
儼華藏之莊嚴，尚何論於雙樹。
廣濟寺就在這種情況下出現了，廣濟寺原名清淳寺，據《南嶽誌》記載：寺院是在1597年開始建造的。創建者是明代一個有名的僧人，名叫無礙和尚。