這個有些離奇的傳說，雖不可全信，但從中可以斷知：在明代眾廳建造前，長林村離眾廳位置還有些距離，或者說長林村還沒有大的發展。二是該處基址兩村有過爭議，最後還是形成了一個宗廟一個祖墳相雜處的格局。十二三歲的放牛娃是對長林胡氏有大功的人，可能眾廳就是為祭祀他而建的。具體說是不是真有踩鐵靴一事，訛傳的可能性更大。
這是徽州祠堂祭祀的又一個習慣或者說傳統。不僅先祖，那些對家族有過大貢獻的也會被族人感念而受到同樣祭拜。而且這些人還可以是外姓的。古岩鎮，明時發生過一個大案，事情鬧到朝廷，最後靠徽州幾個地方官的拚死力爭，才得以昭雪。後人報恩，為他們三人合建一大夫祠祭祀。
眾廳五開間，中三間原是獻柱，大門安置在前金步。有抱鼓石夾峙，兩邊石須彌座。新中國成立後把原大門撤除，前屋簷砌築了圍護牆。門屋前軒後槽，前簷斜撐及梁柁有著精致的雕刻。蜀柱雕琢成雙龍吐水式樣。中間天井較寬敞，池較淺，中有過道。寢堂五開間，抬梁式構架。有月梁，梭形柱，施丁頭拱。梁柱用白果木。用材較大。前廊拱軒施“挑斡”，這是江南大木作中“昂”構件演化的一個標誌性實物。潛口民宅明弘治年間的司諫第中“昂”還起著受力作用，到明末萬曆這裏，“昂”逐步向不受力、起裝飾作用過渡。挑斡雕琢兩翼如飛，抬望眼，美不勝收。這個範例被東南大學的朱光亞發現，在他所著《探索江南明代大木作法的演進》一書中，就此作了以上論斷。靠後簷有石砌的祭台。兩邊間有隔牆分開。這個始建於明代萬曆年間的祠堂，前進後來有大的改建，寢殿梁下有同治年間修繕的墨書記載。整個祠堂呈現的是前進清代，後進明代建築的風貌。
1997年潛口民宅清園規劃時，就想把它作為“明改清”的祠堂類型搬遷。更看中門前有個水塘，正好設計在清園中心廣場位置。其時村裏也計劃澆注一條水泥路通到溪南，正缺錢，但僅靠賣祠堂的補助款修路是不夠的，村民怕一旦其他方麵搞不到錢，這麼點錢放到村裏，沒兩年就沒了。胡姓還是一村主姓，絕對不答應。村裏很為難。區裏鄉裏做了多年工作。因為這個原因，村裏還主動將祠堂內的碾米廠搬出來。胡姓集資對即將倒塌的兩廊做了維修。最後，民宅搬遷項目終於放棄。時間已是2003年。祠堂一直為該村胡姓管護。
2008年國家將眾廳公布為區級文物保護單位。村裏將祠堂清理幹淨，辟為老年人活動中心。時過境遷，國家與村民在保護問題上又終於達成一致。區裏還撥了點款，資助村民將祠堂小修了一下。可是2009年國家新政策出台，要修一條高速鐵路，黃山車站選址就在長林村。這又讓長林幾個胡姓的老人坐不住了。他們明白，這次自己再怎麼堅持和努力都隻能是徒勞。外人進村，他們攀住，小聲探問，“我們搬遷了，眾廳能不能也搬到邊上”？