整個村落空間變化韻味有致，建築色調樸素淡雅。至今尚保存古樸典雅的明清民居中，大量的磚、木、石雕等藝術佳作點綴其間。
村內現存的古老的建築有胡文光牌坊、追慕堂、曠古齋、瑞玉庭、桃李園、西園與東園、膺福堂、履福堂、篤敬堂、青雲軒、惇仁堂、尚德堂、仰高堂、村繡樓和大夫第等。
西遞村的胡文光牌坊俗稱西遞牌樓。建於1578年，距今已有400多年的曆史。牌坊是三間四柱五樓單體仿木石雕牌坊，通體采用當地的大理石雕築而成。
整個牌坊上下用典型的具有徽派特色的浮雕、透雕、圓雕等工藝裝飾出各種圖來，而每一處圖案都蘊涵有極深刻的寓意。胡文光牌坊造型莊重、典雅，石刻技藝出眾，堪稱明代徽派石坊的代表作。
這座牌樓是明朝皇帝神宗恩準為其四品大員胡文光建造的，橫梁西向刻字“膠州刺史”，東向刻字“荊藩首相”。胡文光進士及第，入仕後官位累升至山東膠州刺史，他為官勤勉，政績卓著。後得到明神宗的叔父長沙王的賞識，將其調任王府長史，總管一應事務。王府長史也稱王府首相。
據載，曆史上西遞村曾有13座牌樓，其中12座在消失了牌樓的主人中，地位、權勢比胡文光高的不止一位。但胡文光的身價最高，牌樓的規格最高，留存於世的時間也最長。細看牌樓上的石獅，那獅子頭朝下，呈俯衝狀，姿勢十分奇特。
追慕堂位於西遞村大路街上方，建於清朝乾隆甲寅年，用以追思慕念胡氏先祖，使後人勿忘當年的李胡淵源。
追慕堂屋頂為飛簷翹角，八字形大門樓，簷下三元門外設有木欄，八字牆用整塊打磨光滑的黟縣大理石製成，風格獨特，極為精美壯觀。
西遞村的曠古齋建於清康熙年間，是一幢清朝時期典型的徽派庭院式的私家宅院。
齋內的磚、木、石三雕都基本保持原樣，正廳堂前擺放有西遞古村落全景大沙盤，形象地再現了古村落的整個布局和山形地貌。
瑞玉庭位於西遞村橫路街口，建於清朝鹹豐年間，是一座具有代表性的徽商住宅。
從上而下整體看來似商字形狀，當人從下穿過時就與其組成了完整的商字，寓含著人人皆經商之意，這是徽派民居廳堂裏的一個獨例。
西遞的桃李園位於村內橫路街中部，建於清朝鹹豐年間，由正屋和庭院組成，是胡貫三的第三個兒子胡元熙的舊宅，也是西遞唯一的住宅、書館相配的建築。
後進廳堂兩側有雕花木板，上麵依次鑲有書法漆雕《醉翁亭記》全文，這些雕花木板出自康熙年間古黟縣書法家黃元治之手，現在顯得十分珍貴。
西遞的西園在村內中橫路街上，建於清朝雍正年間，距今有260多年曆史，是清朝道光年間四品官胡文照的私宅。
庭院分前、中、後三進，以低牆相隔，院內有花草樹木、魚池假山、匾額漏窗，用的是典型的徽派造園手法。東園與西園相對應，是一組多單元的古老住宅，風格古樸，不飾華麗。
膺福堂是西遞官職最高的清二品官員胡尚熷的私邸。建於清朝康熙年間，為三進三樓結構。
膺福堂是典型的徽派四合院，屋內的隔扇門皆雕成蓮花狀，精製典雅，天井四周的雀替木雕呈倒爬獅，盡顯官商府第的氣派。
履福堂，建於1684年，距今300多年，是胡貫三的孫子清代收藏家胡積堂的故居，也是西遞村中一座典型的書香宅第。
此堂是一座三間三樓結構的大房子，屋內廳堂擺設典雅，充滿書香氣息。
前廳堂前掛有“履福堂”匾額，兩側有木刻楹聯反映出主人的倫理觀念：
世事讓三分天寬地闊，心田存一點子種孫耕；
幾百年人家無非積善，第一等好事隻是讀書。
此外，前堂還掛有數幅字畫、楹聯，其中有一副內涵豐富，很有哲理的楹聯：
讀書好，營商好，效好便好；
創業難、守業難，知難不難。
這副對聯顯示了儒學向建築的滲透。
廳堂前的長條案桌上東側放著大花瓶，西側放著一麵鏡子，取諧音“東平西靜”之意；中間放著自鳴鍾，當自鳴鍾響起，取“終生平靜”的諧音，體現了主人對生活的一種希望。
鍾兩側各有瓷製“帽筒”一隻，古時的男人戴著西瓜皮帽子，一當坐下來就順手把帽子往帽筒上一放，故稱帽筒。
堂前兩邊還掛有奇特的撕畫、燒畫，它是用筆繪出卻如用火燒烙，再用手撕並合而成。
進入後堂，有一用於扇風的板扇懸於半空，一邊刻有“清風徐來”4字，一邊刻著“淩雲”2字，一扯動繩子，板扇即輕輕來回擺動。
天井兩旁各有12扇木門，雕刻了花草、飛禽、走獸，每扇門中段各雕一則孝義故事，正反兩麵合起來，是一幅完整的《二十四孝圖》，這也是西遞燦爛的古文化遺產。
整座宅居古風盎然，書香撲鼻，具有我國古代典型的書香門第風貌。
在履福堂旁邊，還有一處篤敬堂，建於1703年，距今已有300餘年。這也是胡積堂曾經居住過的地方。
篤敬堂為四合院二樓結構。正屋前，有一個小庭院。庭院左邊，又有一書房。中間正屋廳堂上，最醒目的便是一組祖傳畫像，正中為胡積堂，被朝廷封為正三品。畫像左邊年輕者，為元配夫人。右邊年長者，為繼配。她們頸掛朝珠，享受著丈夫的三品待遇。
青雲軒建於清朝同治年間，是西遞村整體民居的一個書廳，又叫便廳，至今已有140多年的曆史。
雖然青雲軒也是一座徽派民宅，但是仿北方四合院的形製，在西遞的古民居中別具一格。該宅的主人祖上曾經在京城經營錢莊生意，因為喜歡四合院，所以就在家鄉投資興建了這座小院。該院建於清同治年間，此建築是二樓結構，兩側平房，環繞一小庭院，便廳居中，院門臨巷設有門亭。
從石板台階拾級而上，進入小院首先映入眼簾的是一株茂盛的牡丹花。這株牡丹是主人從洛陽帶回的秧苗，與小院同齡。
與牡丹相對的是一扇月亮圓門，門框由6塊“黟縣青”石塊組成，這種月亮門在西遞民居中比較罕見。每年牡丹花盛開的季節，怒放的鮮花與滿月形的圓月構成了“花好月圓”的美好意境。
最為奇特的是月亮門門口擺放的青雲軒的鎮宅之寶，一塊海蚌化石，也是主人在外地做生意的時候帶回來的，現成為青雲軒的又一標誌性物品。
進入院中，右側是主人吃飯起居的地方，左側是一條回廊，下雨時在院內可以不走濕路，現被辟為經營古玩和工藝品的攤位。
穿過月亮門進入正廳，正廳與其他徽派民居擺設並無大的差異，但青雲軒最有特色之處也恰恰就在正廳裏。廳堂正中地麵上有一個小圓洞，上麵放著石蓋，冬天掀開，暖氣上升；夏天掀開，涼風送爽，如同一個天然空調，令人稱奇。