上封寺山門下有花崗石牌坊，坊額用漢白玉刻上封寺3字，兩旁石刻聯寫道：
南國記帡幪，江漢僑民齊景仰；嶽神隆望祀，西天古佛共馨香。
上至山門，為半圓形花崗石石牆，上有漢白玉刺建上封寺門額一方。
著名的詩僧齊已曾在上封寺閉關一個時期，他曾寫過一首行到月宮霞外寺，白雲相伴兩三僧的上封寺詩。
上封寺在宋朝重新賜額，寺內且建有穹林閣，建築已稍具規模。其時宋室南渡，五嶽至今餘一嶽，北望乾坤雙淚落。
一批南渡官員和文人雅士，到這唯一的壽嶽來遊曆，登高遠眺，北憶中原，那種荊棘銅駝之感，必然會像東晉名士們那樣，新亭痛哭，慷慨激昂，從而寫出多少愛國詩篇，發揮憂國憂民之情愫。
從一些詩文字裏行間的偶爾透露，可窺見當時上封寺輪廓。上封寺在當時為一棟棟的板屋，已具備了一定的規模，寺內還建有一座令人流連的穹林閣。張栻在其《遊南嶽唱酬序》一文中敘述自方廣、高台至上封諸寺皆板屋。
板屋是用木板釘蓋以代替陶瓦作屋頂的磚木建築，它的好處是不會像瓦一樣被冰雪凍裂，而且木板不易導熱，又可以保溫。
這類建築在元朝仍然延續下去，像元代文學家，修過金、遼、宋三史的揭奚斯，就在他那首《登祝融峰贈星上人》詩裏說過：
朔風日夜相騰蹙，穀老崖堅鬆柏禿。
古來鐵瓦盡飄揚，山中至今猶板屋。
可見上封寺在宋末、元初曾一度使用過鐵瓦，因補充不易，且重量不夠，仍用木板。
直到明朝中期，鐵的冶煉得到較大發展，開始有了鑄造工場，鑄造的規模和工藝都有顯著變化和完善，信士們有可能捐資奉獻鐵瓦。於是上封寺變成了鐵瓦石牆，屹立峰頭，給人一種堅不可摧的感覺。
明嘉靖中期，上封寺又新建天王殿，信士羅枬還特地捐資鑄成鐵質四大天王立像，進行供奉。鐵鑄四大天王就屹立在殿側兩壁前，偉岸奇特，造型生動，金碧輝煌，威嚴逼真。
從康熙後期，才有了對上封寺的詳細誌述。據新編的《南嶽誌》記載：
清康熙中，湖南巡撫周召南邀請高僧異目來寺作方丈，大修寺舍，建成一座四進兩廊大佛寺。
這是上封寺曆史上的鼎盛時期之一。據1735年對當時南嶽僧寺163所中的29所的田畝進行勘查，上封寺有田448畝，其經濟實力居南嶽五大叢林之首。
清同治年間，曾賜過太子少保銜的湘鄉人曾國荃捐資白銀20000餘兩，重修上封寺，寺宇一新，曾國荃還有刻碑記載了這份功德。
之後，又增建了由上封寺登祝融峰的石板路，重修太陽泉引水石梘，親自書寫了黃離獅吼和震萃風雲兩幅橫額，鐫刻在避雨亭兩端。經過一番整頓和修建，寺貌全新，石垣鐵瓦，佛像莊嚴，殿堂肅穆，金碧輝煌。
號稱天下法源的南台寺也是在這個時期建造的，南台寺相傳為南朝梁天監年間創建，原是海印和尚修行的處所。在寺院後左邊的南山岩壁上，有一如台的大石。據說當年海印和尚常在這塊石上坐禪念經，所以寺名才定為了南台。
唐朝時，著名高僧希遷禪師，來到南嶽衡山受戒結庵於南台寺東大石上，時有稱為石頭和尚。與江西道一禪師名聞天下。石頭和尚圓寂後，諡無際大師，塔命為無相。弟子有道司、憔儼等人。
他們宣教弘法，創立了曹洞宗、雲門宗、法眼宗三派，其中曹洞宗更為昌盛，形成南宗禪，成為中國佛教史上規模最大、影響最深遠的主流。
南宋時，臨濟、曹洞二宗傳到日本。日本佛教界曹洞宗一直視南台寺為祖庭。故南台寺有天下法源之稱。
後來，日本曹洞宗法脈高僧梅曉和尚，自稱是石頭和尚第四十二代法孫，專程來南台寺。這時南台寺的重建工程正在進行，梅曉見屋基楚楚、磚牆厚實，規模宏大，十分高興。當即向淡雲和尚提出寺宇落成，願贈藏經一部，淡雲和尚表示樂意接受。
他回國後第四年，就率領日本佛徒數十人，親自護送到南台寺，並舉行了隆重的贈經儀式，留下了梅曉贈經的佳話。
出了南台寺，有一條小路通南嶽古鎮。途經一個大石坡，石坡間有石磴數百級。在岩石上，好像天梯架於岩壁上，故名天生磴。梯下懸崖峭壁，有掛著鐵鏈的石欄杆，山坡旁邊有一石，名叫金牛石，相傳上麵印有金牛足跡。
後來人們又在金牛壁刻上了一首詩，詩中寫道：
手招黃鶴來，腳踏金牛背。
塵世無人知，白雲久相待。