楊國忠曾經私下對人說：“我本來出身清寒，是靠了後宮的關係才有了今天這樣的地位。以後，也不會有什麼好名聲，倒不如生前盡情享樂。”這番話，卻也是他這個政治暴發戶內心世界的真實寫照。
據《舊唐書·楊國忠傳》，楊國忠及楊貴妃的兄妹楊钅舌和韓國夫人、虢國夫人、秦國夫人五家，在宣義裏構連甲第。每築一堂，費用超過千萬錢。還說：“土木被綈締，棟宇之盛，兩都莫比”。意思是：土木都蒙上了錦繡，其豪華的程度，超過了西京長安和東都洛陽的任何一家。
楊國忠早在年輕時就與虢國夫人私通，入相後更加肆無忌憚。他們晝夜會聚，無複禮度。有時候，二人竟並排騎馬入朝，招搖過市，相互諧謔，路人對此無不嗤之以鼻。楊國忠使用的“鎖子帳”與虢國夫人的“夜光杯”，都是稀世之寶，價值連城。據傳說，楊國忠還常常以女婢為“肉陣”取暖，其子弟春遊時用“樓車”載女樂，以沉香為閣，檀香為欄，家裏還有自轉的“移春檻”。
唐玄宗每年10月起都要帶著楊貴妃到驪山華清官去過冬。每一次，楊國忠和韓、虢、秦三夫人無不陪同前往。他們每家為一隊，各為一色；五家合隊，其鞍馬錦繡燦若雲霞。而遺落在地上的鈿子及瑟瑟珠翠，又散發著耀眼的光亮。人們看到這一場麵，無不驚駭歎息！