根據《漢書》記載，漢宣帝時期任用石顯為中書仆射，弘恭為中書令，掌管請奏文書，“能稱其職”。漢元帝即位不久，弘恭去世，而石顯漸露奸偽之態。史載石顯陷害蕭望之諸人曰：
是時，元帝被疾，不親政事，方隆好於音樂，以顯久典事，中人無外黨，精專可信任，遂委以政。事無小大，因顯白決，貴幸傾朝，百僚皆敬事顯。顯為人巧慧習事，能探得人主微指，內深賊，持詭辯以中傷人，忤恨睚眥，輒被以危法。初元中，前將軍蕭望之及光祿大夫周堪、宗正劉更生皆給事中。望之領尚書事，知顯專權邪辟，建白以為：“尚書百官之本，國家樞機，宜以通明公正處之。武帝遊宴後庭，故用宦者，非古製也。宜罷中書宦官，應古不近刑人。”元帝不聽，由是大與顯忤。後皆害焉，望之自殺，堪、更生廢錮，不得複進用，……後太中大夫張猛、魏郡太守京房、禦史中丞陳鹹、待詔賈捐之皆嚐奏封事，或召見，言顯短。顯求索其罪，房、捐之棄市，猛自殺於公車，鹹抵罪，髡為城旦。及鄭令蘇建得顯私書奏之，後以它事論死。自是公卿以下畏顯，重足一跡。
載石顯樹立黨羽曰：
顯與中書仆射牢梁、少府五鹿充宗結為黨友，諸附倚者皆得寵位。民歌之曰：“牢邪石邪，五鹿客邪！印何累累，綬若若邪！”言其兼官據勢也。
又載石顯陷害馮野王曰：
顯見左將軍馮奉世父子為公卿著名，女又為昭儀在內，顯心欲附之，薦言昭儀兄謁者逡修敕宜侍帷幄。天子召見，欲以為侍中，逡請間言事。上聞逡言顯顓權，天子大怒，罷逡歸郎官。其後禦史大夫缺，群臣皆舉逡兄大鴻臚野王行能第一，天子以問顯，顯曰：“九卿無出野王者。然野王親昭儀兄，臣恐後世必以陛下度越眾賢，私後宮親以為三公。”上曰：“善，吾不見是。”乃下詔嘉美野王，廢而不用。
又載石顯使詐曰：
顯內自知擅權事柄在掌握，恐天子一旦納用左右耳目，有以間己，乃時歸誠，取一信以為驗。顯嚐使至諸官有所征發，顯先自白，恐後漏盡宮門閉，請使詔吏開門。上許之。顯故投夜還，稱詔開門入。後果有上書告顯顓命矯詔開宮門，天子聞之，笑以其書示顯。顯因泣曰：“陛下過私小臣，屬任以事，群下無不嫉妒欲陷害臣者，事類如此非一，唯獨明主知之。愚臣微賤，誠不能以一軀稱快萬眾，任天下之怨，臣願歸樞機職，受後宮掃除之役，死無所恨，唯陛下哀憐財幸，以此全活小臣。”天子以為然而憐之，數勞勉顯，加厚賞賜，賞賜及賂遺訾一萬萬。
又載石顯薦賢以自我解脫曰：
初，顯聞眾人匈匈，言己殺前將軍蕭望之。望之當世名儒，顯恐天下學士姍己，病之。是時，明經著節士琅琊貢禹為諫大夫，顯使人致意，深自結納。顯因薦禹天子，曆位九卿，至禦史大夫，禮事之甚備。議者於是稱顯，以為不妒譖望之矣。顯之設變詐以自解免取信人主者，皆此類也。
宦官生活在帝王身邊，接近最高權力，容易生成禍祟，後世學人或親曆，或見聞，刻骨銘心，心有餘悸；加之蕭望之、劉向、京房諸人或持身可觀，或言議合道，或赤誠忠心，引人歆慕，感人至深；因此，後人對漢元帝被石顯欺愚、為其利用、助成其勢頗感不滿，痛心者有之，譏諷者有之，批判者有之。李德裕對班固的評價尚不滿意，直斥漢元帝為淫亂之君。李氏之言尤其針對漢元帝任用弘恭、石顯兩位宦官。其言曰：
漢元帝習武帝遊宴後庭，又隆好音樂，與弘恭石顯圖議帷幄之中，進退天下之士。史臣讚曰：優遊不斷，漢宣之業衰焉。餘以班固之言未盡其僻，此蓋懦而不才，權移所嬖，非不斷也。夫帝王者天也，天以剛健為氣，粹精為體，氣剛而明則三光不昏，體粹而精則四氣不亂。剛也者不息之謂也，故權衡獨運，歲時不忒；粹也者，不雜之謂也，故乖氣消散，陰陽不謬。若運動不在於權軸，鎔鑄不由於大冶，蕩蕩上帝複何為哉？《書》曰：天聰明自我民聰明。又曰天視自我民視，天聽自我民聽，豈堯舜之時上下皆公，讒說不行，人與其聰明哉？豈幽厲之君，上下盡邪，讒言相蔽，人不與其聰明哉？元帝自稱淫亂之君，各賢其臣，令皆覺悟，天下安得危亡之君。元帝當自以恭顯為賢，而任之不疑也。
王應麟則認為漢元帝不能識別君子與小人，致使權柄被劫奪。在王氏看來，帝王最重要的事情是明察賢良奸偽，其他都是次要的問題。漢元帝因為不能識別君子與小人，所以該斷以示威時不斷，該優遊示恩之時不能留，斷亦錯，不斷亦錯。其言曰：
君道有要，辨君子小人而已。甚矣！元帝之似唐文宗也。劉蕡對策曰：“漢元帝即位之初，更製七十餘事，其心甚誠，其稱甚美，然而紀綱日紊，國祚日衰，奸宄日強，黎元日困者，不能擇賢明而任之，失其操柄也。蕡之言所以規文宗也，元帝所以失操柄者，史高秉政於外，恭顯竊權於中，戚宦締從，讒邪用事，此宣帝受任之失，國柄不歸於忠賢。元帝不知君子小人之辨，善善不能保而君子之道消，惡惡不能去而小人之道長。細行之修飾，庶事之紛更，何取焉？君德剛則明，柔則暗，史謂元帝優遊不斷，劉更生亦雲持不斷之意者開群枉之門，所謂不斷者史高恭顯如山之難拔也，殺望之、猛，黜堪、更生，何其果斷也。當斷不斷，不當斷而斷，同歸於亂。無剛明之資，有柔暗之累，焉往而不悖哉？
王應麟又認為漢元帝不通政事。王氏認為，古今社會巨變，元成二帝之儒術已經難以應對社會政治事務的複雜性，麵對統治對象的龐雜性。其言曰：
古之教太子必講明正心修身齊家治國平天下之道，體用一貫，本末一理，始於格物致知，非尋章撾句而已。漢世輔翼亡具，智囊為家令，所親非端士，博望延賓客所習非正道。元帝之傅可稱者，疏廣、受、蕭望之三人。十二通《論語》、《孝經》，又七年授《論語》、《禮服》，非不好儒也。而君道政體未之講也，柔仁之性，發強不足，善忘之疾，神采益昏。……宣帝家庭訓告，謂俗儒不達時宜，未嚐選真儒以開導其未至也。……周公誡成王曰：“其勿誤於庶獄”，矧大臣之受辱其可誤哉？
王應麟認為，漢元帝作為帝王，最大的缺陷是不能明辨是非，判別奸偽。其言曰：
是故君子小人之分，為君為臣，皆不可以不明辨，在楚則烏可鵲矣，在秦則鹿可馬矣，真偽未易核也。齊威之霸不在阿即墨之斷，而在毀譽者之刑唯至明而已。堪猛之忠，石顯之邪，不待明者而後知，二臣反易白黑，聾瞽其君，元帝心昏耳目塞，退堪猛若墜之淵，石顯終其身不去，以忠為邪，以邪為忠，日中見沬，明夷入於左腹，未之或知也。《虞書》曰：任賢勿貳，去邪勿疑，舉十六相去四凶，天命天討之公也。元帝若能知是，雖百豐捐之其能蔽乎？