明朝豔豔生的小說《昭陽趣事》有幅木刻《趙飛燕掌上舞圖》，是趙飛燕站在一個太監的手上，揮袖回首而舞的姿態。當然，漢、明兩代相去一千多年，這也隻是古人所作的臆想而已，帶有誇張的性質，卻也來源於生活的真實。明代著名畫家仇十洲作《百美圖》，畫曆代美女100個，其中就有趙飛燕舞姿圖。畫麵上的趙飛燕盛裝披巾，在一小方毯上起舞，她平展雙臂，翻飛長袖，右腿微屈而立，左腿屈膝輕提，頭部微傾，表情溫婉。這是明代畫家想象中趙飛燕的一個舞蹈場麵。所有這些，都反映了趙飛燕在古代舞蹈上的驚人成就。
趙飛燕不僅是位舞蹈藝術家，也是位出色的琴家，她有一張琴名為“鳳凰寶琴”。當時長安有一位少年音樂家名叫張安世，自幼習琴，15歲時便名滿天下，後入宮為漢成帝和趙飛燕演奏了一曲《雙鳳離鸞曲》，其出色的技藝和優美的音樂令皇帝夫婦如癡如醉，趙飛燕尤為激動，令人取來她的琴奏了一曲《歸風送遠》，飄逸逍遙，令張安世驚歎不已。趙飛燕愛惜張安世之才，特求成帝允其隨便出入皇宮，並給他一個侍郎的官職，還送給他許多禮物，其中包括兩張名貴的琴，一曰“秋語疏雨”，一曰“白鶴”。
除舞蹈外，人們對趙飛燕姐妹倆頗有微詞的是在房事上的特別之處。據傳趙飛燕家有“彭祖分脈”之書，因而她會配製一種助陽興的春藥。她將這種秘製的春藥丸供漢成帝吞服，結果漢成帝的死就與這件事有關。也有人傳說趙氏姐妹把一種叫做香肌丸的藥丸塞入肚臍。這種藥丸確實功效顯著，用後膚如凝脂，肌香甜蜜，青春不老。撩人的香氣更令漢成帝不能自持，不施雲雨絕不罷手。成帝精力耗盡，就服補藥滿足淫樂。為取悅成帝，方士們爭獻丹藥。漢成帝起初服食一粒丹藥，即可精神亢奮臨幸美人，好似恢複了青春活力。漢成帝長期服用，不斷增加劑量，後來竟連服十丸丹藥淫樂，結果泄陽為血而亡，最後死在趙合德的床上。
一些人不同意這種說法，認為這是後人演繹上去的。趙飛燕的確有淫亂宮闈的事實，但不是指她有造春藥這樣的事情。
有人說，趙合德體態豐腴，漢成帝對趙合德特別感興趣，冷落了趙飛燕，宮槐秋落，孤雁哀鳴，青燈映壁，衾寒枕冷。於是誘使心腹太監把一些年輕力壯的美男子，暗地裏引進宮來。初時還躲躲閃閃，一方麵為了享受青春，另方麵也期望借以生育一男半女，日後承繼皇家香火，好永葆富貴尊榮。日子久了，她就變本加厲，肆無忌憚，明目張膽地與一些男寵在宮內飲酒作樂，甚至白晝宣淫。漢成帝發現後，派人夜搜東宮，捉住了幾名美俊壯碩的男子斬首了事。但不久趙飛燕便又找來一批，白晝掩窗行事，淫聲浪語溢於戶外，宮廷之中，盡人皆知。朝堂上下，也竊竊私議。光祿大夫劉向看到趙皇後如此穢亂，實在忍無可忍，但又不便明白指出，隻好費了許多功夫，引經據典，搜羅昔時賢後貞婦興國保家之事，寫成了一冊《列女傳》，呈獻漢成帝作為諷勸，盼望朝廷有所警悟。
還有人說趙飛燕的淫穢主要與當時生不出子嗣有關，所以與侍郎、宮奴中生子多者私通。其妹趙合德知道成帝一旦知道就會出發怒，所以就對成帝說：“我姐姐性格剛烈，如果被人陷害，則趙氏無種矣。”漢成帝對這句話深信不疑，後來有人告發趙飛燕與人通奸，都被成帝處死。
一個絕頂美貌的皇後，因為私生活的不檢點，使得後人有這麼多演繹，這在中國曆史上是一種通病。因此關於趙飛燕的傳說，必定是真真假假糾合在一起，後人是很難分辨清楚的。