在整個文廟後街的公館大院中，沒有哪一家的院落裏會有這麼一個用來供養狐仙的樓，張家長輩稱它為大仙樓。因為大仙樓的存在，讓張家大院多了幾分神秘。為什麼會在後花園裏，有這麼一個沒有樓梯的二層小樓呢？是張家人迷信嗎？這要從張祥龢買這座祖屋說起。
這座張家大院是張祥龢在清末購置。在購買此樓時，由於張祥龢為人敦厚、心懷慈悲，所以對這座院落沒有過多的去調查其出售的原因。等到與該房的前主人簽訂合同後，才聽說此宅鬧狐仙，很不安寧，接連不斷出災異，有人上吊自殺等， 他們修了大仙樓供養狐仙，可是原主人仍然不堪其擾，所以才決定出售。張祥龢認為既然已經簽約，就要守信譽，所以不便後悔。同時認為狐仙為禍為福，是看主人的道德修持如何而定。因此，還是如約購買了它。
張家人搬進去後，就在大院裏供了很大一張觀音菩薩的畫像。在爺爺的影響教育下，張家老老少少都念觀音拜觀音，誦經禮佛，積德行善，在東門修放生池放生。
那麼多年，除了毓如的乳母李孃說自己在大仙樓下誦經時，看到一個長臉人在芭蕉叢裏聽經外，其他並沒有發現什麼異狀。上世紀40年代後期，張耀樞的母親雷蘊玉做了一個夢，看見一個古裝婦女，從大仙樓飛身下地，來到她的房間，在夢裏她知道是狐仙，感到很恐懼，心裏趕緊念觀音名號，並把她當做賓客接待。在夢裏古裝婦女對她說，我們是鄰居，相處幾十年，托你家的福，我們也得好處，不久要分手了。托你引薦我到劉門去……後來張雷氏將自己做的夢告訴了劉豫波。
一天，張雷氏乘轎到離張家大院幾百米的純化街劉家公館去。在路上，她與一頂很豪華的轎子相遇，在零距離接觸的一瞬間，對方的轎子門簾被一隻手輕輕地掀開，一個打扮得體、雍容華貴的婦女，端坐在轎子裏，雙手伏在橫欄杆上，向她輕輕點頭微笑，就放下了簾子。這一笑不要緊，把張雷氏驚得愣住了，那婦女的樣子和她夢裏的竟相差無幾。她到了劉家公館即劉止唐府第，把自己所遇到的事情給劉豫波先生講述，劉老先生平靜地說，你介紹的那個人今天來過了，是來告別的。
這件事情是張家後人聽老人講述的，其中的因緣，我們凡夫弄不明白。
1950年，張家因退押，這所住宅便賣掉。它卻給張家的後代，留下了很多美好的回憶。