西遞為胡氏所居，但徽州的胡氏比較複雜，一共分為四支，分別為金紫胡、明經胡、遵義胡和尚書胡。西遞胡氏為明經胡，和胡適屬於同宗。根據《西遞明經胡氏壬派宗譜》記載，西遞胡氏始祖昌翼公，原是唐昭宗之子，公元904年，誕育在被迫遷都洛陽的途中。後梁朱溫篡位在即，前程一片刀光劍影，為給李唐王朝保留一點骨血，匆忙間皇後何氏將這個男孩以禦衣包裹，塞進幾件皇室珍寶，然後藏匿於陝縣民間。此時歙州婺源胡三公正好路過，就秘密收養了這個孩子，易李為胡，取名昌翼，是希望他“大得覆翼”，平安躲過這一劫難。不久李唐後人果然為篡位的朱溫所屠殺，唯昌翼得以幸存。
公元925年，後唐同光三年，胡昌翼進士及第。此時胡三公已經垂垂老矣，這天晚上，取出禦衣和珍玩，對兒子細說身世。長夜漫漫，一燈如豆，21年前塵如夢，胡昌翼從此絕了仕宦之想。他後來隱居於婺源考水，潛心經史，世人稱為“明經公”，其後世子孫也大都以經學傳世，所以其族名為“明經胡氏”。
而清朝乾、嘉、道年間，以胡匡衷、胡秉虔、胡培翬為代表，因精於“三禮”被世人尊崇為“三胡禮學”的績溪胡氏，則是金紫胡。
如此錯綜複雜的姓氏譜係，也難怪徽州宗族要重視修祠與修譜。
西遞明經祠又名本始堂，坐落在村口，是西遞胡氏公祠，始建於清乾隆五十三年，公元1788年。這座祠堂正對著胡文光牌坊，據說原先階下有石獅一對，高過一人，威風凜凜。在過去的年月，每逢慶典，族中男丁聚集，祠堂六門大開，張燈結彩。從上個世紀的50年代改為東源糧站後，本始堂麵目全非，周圍森森古木也被砍伐殆盡，唯祠前那一對石獅，幾經輾轉，流傳至東嬴，為日本前首相田中角榮所收藏。
在西遞小郵局的上首，是胡氏支祠追慕堂，供奉的是壬派胡氏榮祖公後裔二十三世應海公。清代著名徽商，號稱擁有三十六典、“江南六大富”之一的胡貫三，就出於該祠。本始堂和追慕堂，都是胡貫三所倡建。胡貫三為迎接他的宰相親家、太傅大學士曹振鏞，還大興土木，修建了“淩雲閣”。“淩雲閣”的規製十分浩大，以至讓一向玉堂金馬的朝廷高官曹振鏞也大吃一驚，連稱此閣闊大可以走馬，從此，淩雲閣在西遞，又稱走馬樓。
沒有雄厚的財力，建不起如此規模的建築。
追慕堂的八字門牆，以兩塊完整的青石製作，精美壯觀，為黟縣一絕。它的石獅也十分壯大，由於祠堂兩邊均以高屋作襯托，白屋高聳，巷道幽深，越發顯出它恢弘博大的氣勢。後廳享堂供奉有李世民畫像，以追慕胡氏遠祖，使後人牢記李胡的淵源。在徽州，祖上的畫像家家都有，在正廳的牆上龕著後代的發達或衰落，表情也差不多一樣。目前，西遞的祠堂已經一無例外地開辟成旅遊景點，每天接待來自全國各地的數以千計有時甚至是數以萬計的遊人。這樣的摩肩接踵，人潮洶湧而來，洶湧而去，早已沒有了祠堂的森嚴了。
西遞的祠堂很多，公祠“本始堂”之外，追慕堂、敬愛堂、仁讓堂、靄如公祠等等，是西遞胡氏各派的支祠。西遞胡氏經商者甚多，這些祠堂，無一不是宗族中發達的商人所出資建造。