根據日本學者的研究成果，初期居住在平安京的人口總數大約是12萬~13萬左右，包括貴族、官人以及一般庶民等各階層。除了官衙、寺院和市場的占地外，京域內的大部分地都是住宅地。
平安時代的貴族邸宅，其代表性的建築樣式是寢殿造。所謂寢殿造，是古代中國的宮殿、住宅形式傳入日本以後的變異。寢殿造的構造一般是：主屋是朝南的寢殿，在寢殿東西兩側對稱地列有對屋，這些對屋通過渡殿等廊的結構，與寢殿相連；同時，東對屋、西對屋還分別向南延伸出廊，在廊中開有東中門、西中門，廊的南端設有釣殿或泉殿；寢殿的正南麵建有庭院，院中有池，池中築有小島、橋等。寢殿造實際上並不是利於日常生活的建築樣式，但貴族們的邸宅主要是舉行宴會、禮儀的空間，因此開放式的寢殿造成為主流。永延二年（988）九月，攝政藤原兼家在其新造的二條京極第舉行宴會，參加者“誦詩句，唱歌曲，河陽遊女群集”，盛宴程度被稱為“希代之事”。
位於左京二條二坊的關白藤原賴通的邸宅（高陽院）是采用寢殿造結構的著名邸宅之一。寬仁三年（1019），藤原賴通開始建造高陽院；治安元年（1021）十月，藤原賴通遷進高陽院。藤原賴通的邸宅占地4町（東西8丈，南北8丈），其庭中掘池、作山、立石，“高大莊麗，無可比類”。高陽院的布局以寢殿造為基本，同時又有所變化，不僅寢殿的南麵設有南池，而且還有東池、後池，池水相連環繞寢殿。但是並非所有的貴族邸宅，都采用寢殿造的結構。根據考古發掘，平安京右京六條一坊五町的貴族邸宅遺跡等，其主屋的南麵都未設有園池。
平安京內，除了貴族的豪宅以外，也存在著許多被稱為“小屋”（“少屋”）、“小宅”等的建築。在11世紀之前，所謂的“小屋”，一般是指規模小且簡陋的住宅；小宅則是相對於貴族邸宅或寺院而言的小規模住宅。
由於平安京的地形，右京比左京低濕，漸漸地平安京的中心移向左京。身處10世紀後半葉的慶滋保胤，將親眼所見左右京的變遷記錄在了其著書《池亭記》中。現抄錄部分內容如下：
予二十餘年以來，曆見東西二京。西京人家漸稀，殆幾幽墟矣。人者有去無來。屋者有壞無造。其無處移徙，無憚賤貧者是居。或樂幽隱亡命，當入山歸田者不去。若自蓄財貨，有心奔營者，雖一日不得住之。往年有一東閣，華堂朱戶，竹樹泉石，誠是象外之勝地也。主人有事左轉，屋舍有火自燒。其門客之居近地者數十家，相率而去。其後主人雖歸，而不重修。子孫雖多，而不永住。荊棘鎖門，狐狸安穴。（中略）東京四條以北，乾艮二方，人人無貴賤，多所群聚也。高家比門連堂，少屋隔壁接簷。東鄰有火災，西鄰不免餘炎。南宅有盜賊，北宅難避流矢。南阮貧北阮富。富者未必有德，貧者亦猶有恥。（後略）
文中的東京、西京分別是指左京和右京。依據慶滋保胤的描述，右京的人煙漸漸稀少，滯留在右京的人多是無處遷移、不怕貧賤的人或者隱居、亡命者。而原來建在右京的一些貴族豪宅，由於長期無人居住，任其荒蕪，最後成為動物的穴居。不過，雖然與左京相比，右京逐漸蕭條，但也沒有成為幽墟，不僅依然有人居住，而且右京的京職官衙並沒有被廢置，隻是在慶滋保胤等貴族們的眼中，右京漸漸成為不屬於貴族世界的空間。
另一方麵，左京的四條大路以北，成為住居集中的空間，既有貴族的豪宅，也有貧者的小屋，鱗次櫛比。一家遇火災或盜賊，鄰家也難避災難。住在有權勢的貴族豪宅近旁的貧窮者，房屋雖破，卻不能翻修；高興時，不能大聲笑，悲哀時，不能放聲哭；若有貴族初置宅邸或者擴大住宅麵積時，貧窮者的小屋還要被吞並。在貧富聚集的左京，富者未必就有德。當時，貴族的邸宅流行“或穿垣引水，或壅水侵（浸）途”，將流水引入宅內，把汙穢排往牆外，不加清掃，朝廷雖然屢屢發布禁令，但都無濟於事。