元載不但家中裝修得非常豪華，還沉溺於女色。他有一個寵姬叫薛瑤英，據說連西施、綠珠、趙飛燕等古時的著名美女都不如她。該美眉和香妃一樣，身體自然芳香，被元載納為妾後，臥的是金絲帳，鋪的是不沾塵的褥子。這件“卻塵褥”出自勾麗國，據說是用卻塵獸毛製作的，殷紅色，異常光亮柔軟。薛瑤英體瘦身輕，元載特意給她弄來龍綃織成的衣服。這衣服非常輕，也就二三兩重，折起來握在掌中不滿一把。元載還弄來很多倡優，表演非常下流的色情遊戲，父子族人都津津有味地觀看，不以為恥。
王韞秀對元載後來的做法也是非常不滿意的，她有詩勸過元載不要沉迷於玩樂，而疏遠了正事：
楚竹燕歌動畫梁，春蘭重換舞衣裳。公孫開閣招嘉客，知道浮榮不久長。
在聲色充耳悅目、酒氣香風彌漫的氛圍中，王韞秀卻清醒地“知道浮榮不久長”。她雖然暗自擔心，也勸過元載，但這時的元載如何能聽得進去？
說來元載雖然有貪贓受賄之行為，但對於鏟除魚朝恩、誅殺李輔國等太監，調兵遣將防範吐蕃等方麵還是有功勞的。如果按元載的意見，河湟一帶就不會輕易落入吐蕃之手，唐朝的安全係數也要大得多。
然而，有道是財大禍也大。處於權勢巔峰的元載，實在是太驕橫狂妄了。從古至今，一個官場，一個股市，都是凶險萬分。伴君如伴虎，老虎雖有打盹的時候，但它一睜眼就要吃人的。
元載當年執迷不悟，據說皇帝曾多次對他敲邊鼓，提醒他注意。但是，元載置之不理。對於元載這些行為，他的賢妻王韞秀是知道的，但她現在也管不住元載了。元載終於惹得皇上討厭，唐代宗以元載夜裏請道士作法為罪名，命左金吾將軍吳湊在政事堂這樣的辦公場所把元載揪出來逮捕。經審訊，給元載定罪，滿門抄斬，賜元載自盡。
元載向主刑的人請求速死，主刑的人可能也和元載有仇，脫了一隻臭襪子塞住他的嘴，然後將其勒死。元載的兒子伯和、仲武、季能等都被殺。元載被抄家後，抄出金銀珠寶、莊園田產無數自不用多說，比較奇特的是他家中有胡椒八百石。
在今天，胡椒並非稀罕之物，也就是陳佩斯小品中那種愛沾小便宜的人，往餛飩碗裏拚命倒點罷了。但在唐時，胡椒都是進口貨，要遠道從印度、南洋等地運來，因此價值不菲。
元載也實在太貪婪了，八百石胡椒，換成我們熟悉的計量單位，就是六十多噸。元載就是開個全大唐的香料連鎖店，這些倉儲也足夠啦。當然，元載並不是想開雜貨店，胡椒既是珍貴之物，又方便保存，收藏起來就是一種硬通貨，就是財富。
元載活上八百年，也未必能消費得了這四、五輛斯太爾載重汽車才能拉完的胡椒。然而，一旦獲罪受刑，塞口的卻隻有一隻臭襪子。
按唐律，元載家的妻女並不處斬，要沒入宮中作粗活。但王韞秀卻不願意再苟活偷生，她說：“王家十二娘子，二十年太原節度使女，十六年宰相妻，死亦幸矣，堅不從命！”
王韞秀雖是女子，但氣度不遜於大丈夫。她堅持不屈，於是被官府笞杖齊下，活活打死。然而，元載的寵姬薛瑤英等，卻投入別的男人的懷抱，成了別人家的老婆。從王韞秀留下這僅存的三首詩看，她是個才高誌大、敢愛敢恨而又明達世事的烈女子，比她的老公元載強多了。