基於這種“色戒”理念，唐玄宗在開元年間對後宮製度上進行了大力改革，他是唐代皇帝中唯一一個將後宮嬪妃數量大大縮編的皇帝。按照舊製，古代皇帝的嬪妃有三夫人、九嬪、二十七世婦、八十一禦女。唐玄宗認為這麼多的嬪妃很容易讓人貪戀後宮美色而誤事，於是進行了減編減人，除了夫人外，將原來的九嬪改為六儀，二十七世婦中僅保留了美人四人、才人七人等十一世婦，撤銷了世婦中的婕妤一職，撤銷了原來八十一禦女中寶林、禦女、采女等內官。由此可以看出，在玄宗朝，皇帝的嬪妃編製大大減少，人數上明顯精簡，這也是唐玄宗自我加壓、潔身自好的有力例證。
很多人相信，玄宗時代後宮宮女有四萬人，他是一個“夜夜當新郎”的隨意皇帝，事實果真如此嗎？這要查看一下唐玄宗的生育記錄，從他兒女身上找答案。《新唐書》記載的為玄宗生兒的嬪妃中，成活的23個兒子的母親都是製內嬪妃，其中出現的高婕妤、柳婕妤應該是嬪妃製度改革前的產物。正史記載中唐玄宗唯一的“越軌”表現就是和製外的普通宮女曹野那姬生了壽安公主。如果推斷一下他臨幸過的宮中女子，製內的嬪妃是主流，個別的宮女隻是補充。如果真如傳說中的夜夜播撤“龍種”，按照這家夥的生育能力，他的兒女至少得成千上萬。由此看，唐玄宗與唐代乃至曆朝曆代的正經皇帝相比，在臨幸後宮女人方麵並沒有獨特的表現。
白居易在《長恨歌》中曾有“後宮佳麗三千人，三千寵愛在一身”說法，這反映了唐玄宗一個怪脾氣，就是專寵女人。當他對某個女人感興趣的時候，其他的粉黛立馬就會黯然失色，他的“龍種”也隻會朝一塊地裏撤。縱觀玄宗一生，他曾專寵過趙麗妃、武惠妃、楊貴妃，尤其是武惠妃和楊貴妃，分別在開元和天寶年間長期獨占玄宗的私人空間，讓玄宗對其他佳麗毫無興趣。武惠妃死後，“上悼念不已，後宮數千，無當意者”（《資治通鑒》）。這說明無論在情感還是私生活方麵，玄宗十分看重這個女人。可以想像，和這樣感情至深的女人相處，他還有心思天天染指其他女人嗎？從曆史資料看，這個女人得到的“龍種”最多，為玄宗生的兒女也最多。
天寶五載以後，專寵恩澤了楊貴妃，後宮馬上出現“三千寵愛在一身”，此時的玄宗已六十來歲，這麼大年紀的老頭子，他需要的不是雲雨之歡，而是填補失去惠妃的感情空缺，所以，老夫少妻兩人在一起時，切磋更多的是音樂和舞蹈，活動最頻繁的是在華清沲的洗溫泉澡，從此不早朝，隻能說明天寶年間玄宗對貴妃的情感專注。白居易“雨露由來一點恩，爭能遍布及千門。三千宮女胭脂麵，幾個春來無淚痕”，也許就是對這一現象的最好詮釋。如果從私生活的角度看，玄宗的後宮生活是很有戒度的，專愛一個女人，並沒有什麼罪。
自唐代以來，人們都愛用“貪戀聲色”形容唐玄宗，事實上，唐玄宗的貪聲要遠遠大於戀色。此時的宮女不管是三千也好，四萬也罷，唐玄宗關注的其實上她們的音樂才能和體育藝術技能，這和玄宗本人的業餘愛好有很大關係。據任半塘《教坊記箋訂》推測，當時長安內外教坊有一萬一千四百零九教坊伎，這支宏大的藝伎隊伍是獻藝的伎女，而非獻身的妓女，她們中間有許和子、念奴一類的歌唱家，也有善跳《驚鴻舞》江采蘋一類的舞蹈家，更有杜甫筆下公孫大娘一類的雜技武術高手，她們通過獻音樂、玩體育、做遊戲，娛樂宮內，取悅玄宗。她們實際是真正意義的文藝工作者，並非人人都和玄宗有曖昧之交。
唐玄宗之所以受到嘲笑，與楊貴妃有很大關係，天寶年間他荒廢朝政，使大唐走向衰落。其實，真正的原因還是選人用人的失誤，如果堅持任用姚崇一類賢相，約束一下楊貴妃的娘家人，想必他就是天天和楊貴妃呆在一起，國家機器也會正常運轉。很多夢回大唐的人和歐陽修一樣，把的原因歸罪於一個女人，為玄宗扣上“貪色誤國”的帽子，其實是對玄宗一生失誤的一個誤解。