韜光寺位於靈隱寺西北的巢枸塢內。步出靈隱寺，順著山牆往西有一條石路，再往前是一徑蜿蜒曲折的石磴道，兩旁修篁夾道、草木蓊鬱，這就是韜光道。循山道攀援，穿過半山亭，頭頂上宛若有一淩空樓閣，這便是韜光寺了。韜光寺曆來以朝佛、觀山、觀海而著稱。唐時，四川詩僧韜光禪師曾居住於此，寺以人名，故稱韜光寺。
韜光古精舍，遠跡西山岑
韜光寺，為蜀地名僧韜光禪師所建。相傳，在唐穆宗長慶年間（821—824年），韜光離川出遊。臨行前，其師囑咐雲：“遇天可前，逢巢即止。”韜光雲遊到巢枸塢，他恍然省悟，認為此地正是吾師命我駐足之處，於是就在這裏住了下來。其時正好白居易任杭州刺史。
五代後晉天福三年（938年）吳越王重建，改名廣岩庵。宋真宗大中祥符間又名法安院，而世人以僧號稱之為“韜光”。南宋時，寺廟“家廟化”，該寺於乾道九年（1173年）被充作鹹安郡王趙士銖的功德院，後廢。明代洪武年間重建，後又廢。清代康熙年間，曾修建觀海亭。雍正八年（1730年），“韜光觀海”被列為“西湖十八景” 之一。乾隆南巡時，曾禦題“法安堂”、“雲澄日觀”匾額。相傳古時呂洞賓曾煉丹於此，故舊有“呂嚴祠”。由此，在清代，韜光寺曾被改為道觀，並設呂祖煉丹遺址於此。
1981年，韜光寺毀於大火，僅存一殿，1982年又毀。後來，人們在原址上改建為一座敞廳，名“白雲深處”。2003年，韜光寺由杭州市園林文物局移交杭州市佛教協會管理，2006年起整治修繕，如今已頗具規模。韜光寺是杭州由政府部門與佛教協會統一管理的八個寺廟中的一個，也是建築位置最高的寺廟。
煙霞仙窟藏真隱，台殿晴空見遠潮
“高樹依秀岩，修竹夾路疏”，三裏韜光幽徑，一路古木修篁，蒼翠茂密，路旁山澗，溪流潺潺。從韜光徑拾級而上，仿佛置身於九曲通幽的綠色巷道中。明人蕭士瑋對這條韜光徑讚賞備至，在《韜光庵小記》中說：“大都山之姿態，得樹而妍；山之骨骼，得石而蒼；山之營衛，得水而活；惟韜光徑中能全有之。”韜光徑上有濃蔭、蒼石、深苔之靜景，還有溪流、鳴禽、山月之動景，視聽兩宜，雅麗生動。
“僧泉交竹驛，仙屋破雲封”，清澈甘洌的韜光泉，沿著韜光徑跌宕蹦跳而下。舊時靈隱寺僧刳竹引泉，相續不斷，泉水隨曲折蹬道汩汩流下，一路上水聲淙淙，有若弦索，成為韜光獨有的聲景。這叮叮然的泉聲，更顯出山道之幽，讓人悅耳忘情，塵慮可滌。今天雖已不見僧家巨竹臥徑，但韜光泉那悠悠不息的清流，依然“鬆石之隙飛如懸”，聲韻和諧，使人心曠神怡，情趣盎然。
“韜光古庵嵌山，北窗直吸餘杭縣”，依崖結屋、勢若淩空的韜光寺，高居絕頂，不同凡響。韜光寺建築的整體結構大致符合“一正兩廂”的中國傳統建築格局，卻又依據山體的走勢而有所創新。其中軸線底層是大雄寶殿，中間是法安堂，最上層是呂純陽殿和祖師殿，為寺院主體建築。這些建築多為兩層通透式結構，通過各具特色的雕刻門窗，把室內和室外融為一體。裸露的青磚、白色的牆體和棗紅色的門窗，使得韜光寺和以黃色為主色調的傳統寺院相比，別具一番風味。中軸線左邊為茶院和僧寮，遊客和信眾可以在茶院一邊飲茶，一邊欣賞西湖美景。