宋天禧五年（1021），四顧坪的桂林書屋，改為林和靖祠。曆元、明、清各朝，幾經興廢，至清光緒五年（1879）冬，林氏三十二世裔孫林立言，倡議赴杭州西湖孤山請林和靖像歸。光緒九年（1883）元月，林氏在舊址上重建祠宇九間，中三間為和靖祠，前三間為放鶴亭，後三間為太極文昌宮。環築八方，取八卦之象，每方建屋三間，共二十四間。各方種梅一株，以示和靖先生愛梅好鶴之風。八方中間的大廣坪，麵積約120平方米，左、右各一井，含陰陽兩儀之象。
1991年，住持僧月峰和尚上山，百廢待舉，重整寺院，維修八方房舍，加浚二井。太極宮的兩株老茶樹，約有三百年的樹齡，曲幹蒼勁，枝葉繁茂。按道院的規矩，原在坤方開大門，現在門外一株已枯的老梅，重抽新幹，應佛殿之需，又在離坤方開大門拆去放鶴亭，改建三宮殿。古院後有龍虎二丘，中間有一株古樟，樹冠四展，枝葉繁茂。這真是“名山藏勝跡，林海出明珠”。
“六十年來六十年，個個老人已朝天。林中自有林中子，梅鶴同春萬八年。”一首刻在四顧坪《孤山太極宮碑》上的序言詩，道明了東海之濱這片洞天福地曆史的遠古沉浮和林和靖先師的遺風。
自建村以來近千年間，盡得山海之利。雖然地處山陬海角，但從甬臨公路和寧海至象山公路都有車直通村內。至今，完好保存建於清道光十八年（1838）的“林氏家廟”。在祖堂石柱上，有一副鐫刻於“道光戊戌桂月”（1838）的對聯：
梅妻鶴子
風雅閑適
前朝聲價開慶桂；
祖德長流，
書香繼起，
奕世簪纓仰九龍。
距今已有170餘年的曆史，卻保存得十分完好，全然沒有因地處海邊而受到腥風醎雨的腐蝕破壞。
打開家廟的大門，內外整潔肅然，朱漆鮮紅、金彩四射，可見得到後人的精心保護。廟門口赫然立有“全國重點文物保護單位”標誌碑，讓每一位來到家廟的賓客增添了幾分崇敬感。此外，正對戲台的大堂簷廊正中，懸掛著一塊宋仁宗賜的“和靖先生”的青底金字匾。
然而，這座林氏家廟又跟他有什麼關係呢？
根據奉化的地方誌以及《黃賢林氏宗譜》記載，林和靖之祖林登雲在唐末五代時從福建莆田遷入，效“商山四皓”之舉，改山和村名為“商山”，今存商山和商山橋。林登雲的第三子、第四子林環、林釴居奉化黃賢，其餘兩位分居象山、蕭王廟。林逋是林釴之子，家譜中載明成年後隱跡湖山，領養侄子林彬終老，後裔世居杭州仁和裏。
再說《寧海縣地名誌》、寧海《爵山林氏宗譜》的記載，“始遷加爵科的始祖堯卹公為避盜，居於杭州西湖北岸仁和裏。公生一子，諱劄。劄生二子，其中瑜又生垠公、坊公。父子同泛舟竟入寧海加爵山。”林瑜即林和靖堂弟，到加爵建村時在北宋晚期。
林氏建村後在爵山建“和靖先生祠”，又稱“孤山道院”，內設書院，與道觀合一。而在爵山下村北宋仁宗皇帝有敕賜建“林氏家廟”。