“雁山之顯，皆自全了發之。”全了是雁山十八古刹之首能仁寺的始創者，李孝光有“萬鬆都是了翁栽”句，了翁就是全了。全了之後還有神昭、行亮、文吉等僧人，先後在雁蕩山建寺。
許宗斌認為，雁蕩山的開發，比較一致的說法是始於南北朝，興於唐，盛於宋。南朝宋永嘉太守謝靈運曾到過雁蕩斤竹澗，作有《從斤竹澗越嶺溪行》詩，並在《遊名山誌》中有記載。清初李象坤《雁山誌》載：“臥雲禪師重建羅漢寺，遷穀內芙蓉峰下，刷地得古碑，高二尺，闊一尺，文曰：‘昭明太子肇基，建號昭明禪寺，及造寶塔一所，以奠溫庥康盛者。大梁大通元年丁未歲上元誌。’”昭明是梁武帝蕭衍太子蕭統的諡號，大通元年為公元527年，說明南朝梁已在芙蓉峰下建寺造塔了。
謝靈運與斤竹澗
“猿鳴誠知曙，穀幽光未顯。岩下雲方合，花上露猶泫。逶迤傍隈隩，迢遞陟陘峴。過澗既厲急，登棧亦陵緬。川渚屢徑複，乘流玩回轉。蘋萍泛沉深，菰蒲冒清淺。企石挹飛泉，攀林摘葉卷。想見山阿人，薜蘿若在眼。握蘭勤徒結，折麻心莫展。情用賞為美，事昧竟誰辨。觀此遺物慮，一悟得所遣。”這是我國“山水詩鼻祖”謝靈運寫的《從斤竹澗越嶺溪行》。此詩描寫清晨入澗，雲露相映，溪穀幽深，曲徑險峻，澗急棧高，奇石飛泉，景色清麗。這首詩一般被認為謝靈運到過雁蕩山的證明。
謝靈運（385-433），南朝宋詩人，祖籍陳郡陽夏（今河南太康），生於會稽始寧（今浙江上虞）。幼時寄養於錢塘（今杭州），小名“客”，世稱“謝客”，史稱“幼慧，少好學，博覽群書”。他是東晉名將謝玄的孫子，母親是東晉著名書法家王獻之外甥女。謝玄因淝水之戰立奇功而封為“康樂公”。謝靈運18歲時襲封“康樂公”，時人稱為“謝康公”、“謝康樂”。宋永初三年（422）秋，謝靈運受權臣排擠而離開京都建康（今南京），出任永嘉（今溫州）郡守。他酷愛山水風光，醉心詩歌創作，開創了我國文學史上山水詩派，與陶淵明開創的田園詩派並稱“陶謝”，又與南朝齊謝朓並稱“大小謝”。杜甫《江上值水如海勢聊短述》詩中有“焉得思如陶謝手，令渠述作與同遊”句。沈約《宋書·謝靈運傳》載：“（永嘉）郡有名山水，靈運素所愛好。出守既不得誌，遂肆意遊遨，遍曆諸縣，動逾旬朔，民間聽訟，不複關懷。所至輒為詩詠，以致其意焉。”現存謝靈運描寫山水與自然風光的詩約有40首，半數左右作於溫州，且多為傳世名篇。
謝靈運擔任永嘉郡守一年時間裏，是否到過雁蕩山，學者眾說紛紜，不少人懷疑舊《溫州府誌》、舊《樂清縣誌》有關謝靈運到過雁蕩山的記載。有學者認為，謝靈運《從斤竹澗越嶺溪行》詩中的“斤竹澗”，並不是雁蕩山的斤竹澗，是“會稽縣東南斤竹嶺”，是一首寫會稽山水風光的詩。樂清籍學者洪禹平先生等人，曾專門到紹興、諸暨、上虞一帶實地考察過，並查閱了當地的大量古籍，未見當地有“斤竹嶺”的記載與傳說。據謝靈運《遊名山誌》記載：“神子溪，南山與七裏山分流，去斤竹澗數裏。”據考證，文中所列地名地望，都與雁蕩山相符。
雁蕩山確有斤竹澗，又寫作“筋竹澗”。錦溪之水經能仁，經行峽霞，穿過西龍潭門，進入排雲嶂，流入東南山峽，逐漸彙合許多小溪細流而成大澗，長約六裏，南流入芙蓉港。沿斤竹澗而上，過錦溪便可深入雁蕩山探幽尋勝，這些都符合謝靈運這首詩的詩題與詩境。《廣雁山誌》卷一《山總·山嶺》載：“飛泉嶺。袁采序（指《雁蕩山圖序》）：自筋竹來者曰飛泉嶺。朱誌（指朱諫《雁山誌》）：在能仁寺東南，通筋竹澗路，上飛泉寺。”清代溫州太守戴啟文《北雁山紀遊》十二：“再宿雁山寺，出穀行向西。幽鳥解留客，深林不住啼。泉聲送我行，流出前山蹊。下注斤竹澗，發源大錦溪。緬懷謝康樂，行田勤耕犁。遊屐曾止此，前路津猶迷。鑿石孰通道，開辟隨高低。四十九盤嶺，峻極青雲梯。其勢繚而曲，窘步愁攀躋。入險更出險，遊跡留鴻泥。”