由於漢宣帝在民間長大，深知百姓疾苦，所以他在位期間勵精圖治，輕徭薄賦，而且能夠知人善任。雖然信任弘恭和石顯二人，但並沒有給他們太大的政治權力。所以，弘恭和石顯並不安於現狀，仍然在暗暗尋找著掌權的機會。漢宣帝晚年，發現太子劉奭偏好儒術，而且性格懦弱，不善用人，宣帝擔心劉奭繼承自己的皇位會敗壞漢室，便打算更換太子。但是，皇後許氏是劉奭的生母，漢宣帝曾答應皇後不廢太子，所以，在漢宣帝身染重病，快要歸天之際，雖然歎息“亂我家者必太子也”，但還是降旨將皇位傳給劉奭，同時任命3位大臣輔政。一位是外戚史高；另外兩位是劉奭的師傅肖望之（任命為前將軍光祿勳）和周堪（任命為光祿大夫），二人兼領尚書事。黃龍元年（前49年），宣帝病重，經醫治無效逝世，終年43歲。
這時，27歲的太子劉奭即位，被稱為漢元帝。弘恭和石顯早已看出漢元帝懦弱的本性，此時身居尚書之職的弘恭、石顯認為有了竊取權柄的機會。隨著皇上的日益寵信，石顯的權力也日益增大，埋藏多年的驕橫本性慢慢暴露出來，逐漸開始了奪取朝政大權的行動。
石顯在皇上的日益寵信下，不斷拉攏朝臣，許多膽小怕事、貪圖富貴的小人紛紛投靠了他，他的勢力也日益增強。要想奪取朝政大權，首先便是削弱輔政大臣的權力。為此，石顯和弘恭越發地獻媚討好漢元帝，在獲得極大的信任之後，他們便倚仗自己熟悉朝政的優勢，想方設法刁難抵製輔政大臣的意見。
在隨後的幾年裏，陰險毒辣的石顯又想方設法陷害了大量的賢良大臣，被罷官、入獄、殺頭者不計其數。朝中百官都非常懼怕石顯，人人自危。
石顯的所作所為，得罪了很多人，他也深知自己不得人心，許多大臣都在盯著自己，尋找自己的過失，如果自己稍有差錯，定會招來群臣的攻擊。為了讓漢元帝不聽他人對自己的攻擊，石顯處心積慮地想出了一個花招。當時漢宮的製度是夜閉宮門，嚴禁人員出入。有一天，石顯特意外出辦事，臨出發前，他向漢元帝請示道：“皇上，此次出行，時間較長，恐怕回來時天色已晚，宮門關閉，請允許我以皇上的詔令讓把守宮門的官員打開宮門。”漢元帝信以為真，點頭答應了。當天，石顯在外遊玩，故意深夜回宮，來到宮門前，他聲稱皇帝同意自己晚歸。守門官員隻得打開宮門，石顯邁著四方步，大搖大擺地走進宮中。事情過去沒幾天，便有人上奏章，說石顯矯造詔書私開宮門。漢元帝看完奏章，微笑著遞給石顯。石顯看罷，裝作驚慌失措的樣子跪在漢元帝麵前，很委屈地哭泣道：“皇上信任奴才，才將國家大事交給我處理。朝中的官員都很嫉妒皇上對奴才的信任，想方設法陷害我。像這樣的事情，已經不止一次了。皇上是英明的君主，能明白事情的真相。奴才出身微賤，無才無德，很難讓百官滿意，讓我放棄中書令的職務，到後宮做些端茶送水的雜活，那樣就不會遭到他人的攻擊。懇請皇上恩準我的請求，以保全奴才的性命。”天性柔弱的漢元帝怎能經得起這種悲悲切切的訴說，他急忙寬慰石顯。漢元帝以為，石顯精通朝政，沒有骨肉之親，又不勾結外官，完全可以信賴。大臣們跟他過不去，全都是出於妒忌，像這次宮門之事便是明證。此後，大臣們越是彈劾石顯，漢元帝就越寵愛信任他，而且還厚加賞賜。公元前33年，漢元帝病重，經醫治無效，死於長安未央宮。當年六月，太子劉驁繼承皇位，稱為漢成帝。成帝的生母為皇太後，大舅王風為大司馬將軍，二舅王崇為安成侯，5個小舅也都封侯。其他子弟都在朝中擔任要職，皇太後的侄子王莽也在此時逐漸高升。於是外戚王家成為西漢建國以來最為顯赫的家族。俗語道：一朝天子一朝臣。宦官得寵於當時的專製君主，主存，他便能繼續得寵專權；主死，他便隨之失勢，這是不爭的事實。所以，成帝即位之初，就以石顯服侍先帝勞苦功高為名，加封他為長信太仆，秩中二千石，地位雖然有所高升，卻被調離中書，失去了權柄。
幾個月後，朝中大臣紛紛上疏陳述石顯過去的惡行。成帝根據大臣的揭發，將專權達十餘年之久的石顯及其黨羽全部罷官。至此，石顯的惡勢力頃刻間瓦解，上自文武官員、下至黎民百姓，無不拍手稱快，京城中的百姓奔走相告：“伊徙雁，鹿徒菟，去牢與陳實無賈。”
石顯被罷官後，回歸故裏。失去權勢的他回想起以前風光的自己，不禁感慨萬千。公元前33年冬，石顯去世。成帝在位期間，沒有再封賞宦官，四年之後，也就是公元前29年，專門由宦官任職的機構中書被撤銷。