觀音洞旁建有一庵，為後來明代所建。觀音洞後古樹成蔭，巨石層疊，上書“大士重現”4個大字。雁蕩山的觀音洞還有一個傳奇的故事！
相傳在1000年前，觀音洞裏有很多岩石，還長著刺藤，住著狐狸、蜈蚣精和狼，它們都很凶殘。
一日，一個老和尚來到觀音洞，那時，他已經筋疲力盡了。他看到觀音洞，想去那裏念《法華經》，當時他忘記了口渴，忘記了饑餓，加快步伐趕去念經。一條條刺藤劃破了老和尚的臉，但他毫不覺得痛，還是不斷疾步前進。
老和尚終於到了，他在觀音洞裏念經，岩石上的水滴一點一點地滴下來，老和尚稱為“清泉”。老和尚念了一天一夜，住在這觀音洞裏的狐狸、蜈蚣精和狼都戲弄老和尚，可是老和尚還是隻管念自己的經，不去理它們。
老和尚旁邊噴著的水被他稱為“洗心”，狐狸它們一夥又想讓老和尚死。便讓蜈蚣精在“清泉”上滴上毒液來給老和尚喝，可是，老和尚喝了“洗心”噴泉的水後安然無恙。
狐狸它們捉弄了老和尚好幾天，也都累了。坐在老和尚的旁邊日日夜夜聽老和尚念經，最後也都受到了感化。
狐狸一心想要改過，就讓野狐狸們把山洞裏的岩石給搬走。蜈蚣精也想要改過，就讓毒蜈蚣們把山洞裏的刺藤咬斷。老狼讓狼群把山洞裏石頭推下山。老和尚最後化成了石像，至今還待在山洞裏麵。
到了宋代，雁蕩山進入了全盛時期，特別是南宋小朝廷遷都臨安，溫州的經濟進入了大發展時期，驛道也改從雁蕩山的西內穀中經過，所以此時雁蕩山中新建了諸多寺廟和古刹，盛極一時。在雁蕩山靈岩之陽有一古刹，它背依靈岩，以岩名，稱為靈岩寺，該寺始建於979年，因寺境山水靈秀，名聞京師，宋太宗特賜禦書經書52卷，999年賜額“靈岩禪寺”。
靈岩寺四周奇峰嶙峋，古木參天，是雁蕩十八古刹之一。寺有殿宇、禪房百餘間，號稱“東南首刹”，四周群峰環列，雄壯渾龐，古木參天，環境幽絕。後來的清人喻長霖的一副楹聯的下聯，生動地寫出了它周圍的景色：“左展旗，右天柱，後屏霞，數千仞，神工鬼斧，靈岩勝景歎無雙”。
靈岩寺建成後不久，雁蕩山十八古刹中規模最大的一座寺廟能仁寺也建成了。能仁寺初建於999年，位於雁蕩山大龍湫錦溪岩畔，東南對火焰山和戴辰峰，燕尾瀑位居其北，可遠望觀音峰。
南宋以後，能仁寺的影響越來越大，鼎盛時期，有僧人300，香客每日千人，成為全國30所最著名寺院之一。寺中有一大鐵鑊，高1米多，直徑約2.5米，鑊重18500千克，為1092年所鑄，因此能仁寺又稱大鑊寺。在靈岩寺後有一片方竹，這方竹還是早先從能仁寺移栽過來的。
古時，能仁這一帶地方是一片深山密林，常有猛獸出沒，傷害百姓。所以，那時一戶兩戶人家並不敢在這裏定居下來。後來，大家結夥一起，在能仁一帶聚居成村了。但村裏蓋起來房屋常被火燒掉，老百姓猜疑是能仁寺對麵的火焰峰在作怪。
1092年，人們就在火焰峰下鑄造了一口重18500千克的大鐵鑊，盛水用來製勝火焰峰。從此後，這裏的風水好了，年年風調雨順，百姓安居樂業，寺院香火很盛。
一日，有兄妹兩人從括蒼山來到了能仁寺，哥哥是個識風水的人，他見這裏風水好，便在能仁寺附近埋了個銅錢做紀念，說是這樣做下半世可榮華富貴。隨後，妹妹也從頭上拿下枚頭釵插在這裏做紀念。說也湊巧，這枚頭釵不偏不離，正好插在哥哥埋的銅錢眼裏。後來這頭釵日長夜大，成了一顆四四方方的竹子。幾年以後，四方竹長成一大片了。
有一天，天遇大旱，一邊幾個月不下雨，能仁寺的方竹大都枯死了。好心的靈岩寺成圓法師把活著的幾棵方竹統統移栽到了靈岩寺，天天澆水，方竹救活了。這方竹一代傳一代，到如今，靈岩寺後還長著茂盛的一片方竹。
拓展閱讀
雁蕩山山頂有湖，蘆葦叢生，如同水蕩，春雁歸時，常宿於此。在這美妙的環境中產有一種茶，名為龍湫茶。關於這個龍湫茶還有一個傳說呢！相傳阿羅漢諾詎那率弟子300居於雁蕩山修行時，曾夢見一位老翁贈茶樹。第二天清晨，諾詎那步出廟門，隻見龍湫上端龍頭嘩嘩吐水，遠處山邊又有龍尾若隱若現地擺動。諾詎那恍然大悟，昨日托夢者，必是老龍化身。當他回到寺廟時，隻見庭院中新長出一棵綠蔭如蓋的大茶樹，枝葉繁茂。品飲此茶，濃香撲鼻。