戴縉擔任禦史整整九年，遲遲得不到升遷。在西廠被罷免之後，他窺探出皇上的心意，於是盛讚汪直的功勞。西廠是皇上下旨成立的，汪直又是皇上看重的人，說西廠和汪直的壞話，等於是說皇上的決策有誤，用人不準。皇上可能一時屈服，但改變不了他內心真實的想法。
禦史王億也附和說：“汪直的所作所為，不但可以為當世人所效法，而且也可以為萬世以後的人們所效法。”見到有人出來為汪直說話，朱見深很是高興，所以沒過多久，西廠又重新設立。
之後，汪直命令東廠官校上書誣告項忠，朱見深下令三法司和錦衣衛一同會審。眾人都知道這是汪直的主意，所以沒有一個人敢出來為他辯白，一代忠良就這樣被貶為平民。
汪直重新回到西廠後，商輅竭力請求致仕。朱見深同意了，並下旨加商輅為少保，準他用驛車返鄉。商輅離開以後，史稱“士大夫益俯首事直，無敢與抗者矣”。
之後的幾年，汪直又在朱見深的命令下先是前往遼東調查遼東激變的事情，後又去西藏巡視守邊事宜，威勢更勝從前。但由於長年遠離朝廷的政治中心，加上有人不斷地說汪直的壞話，這就導致朱見深對他的寵信逐漸不如從前。
成化十八年，有盜賊潛入皇帝的西內廷，被東廠的校尉抓獲。
“廠公，這群人在內廷偷竊，被我們的人抓了回來。”
“好你個毛賊，偷東西偷到皇宮裏來了。說，是誰指使你們來的？”東廠提督尚銘問道。
“回公公，沒有人指使。”為首的人戰戰兢兢地回答道。
“皇宮戒備森嚴，豈是你們說來就來的，而且一來就直奔西內廷，目的明確，沒有內應，你能辦得到？看來不用大刑你們是不招了，來啊，用刑！”
“別別別，我們說，”一群人連忙擺手，“接應我們的是一個老太監，操著一口山西話。”
“長什麼模樣？”
“他帶著帷帽，看不清他的樣子。他告訴我們他快退休了，想在退休前撈一大的，好養老。我們知道的就這麼多了。”
“還算你們實誠，先押下去吧。”
隨後尚銘把這件事情報告給朱見深，朱見深很是高興，賞賜了他很多東西。
沒多久，消息傳到了汪直的耳朵裏，他很是生氣，對著身邊的人說道：“要不是有我的提拔，他尚銘能有今天，如今倒好，趁我不在京城，背著我擅自邀功請賞。”為此，汪直開始想辦法整治尚銘，以免他爬到更高的位置。
尚銘雖然在汪直手下辦事，可是心中早就對他不滿，於是他一邊將汪直胡作非為，為非作歹的事情整理成材料，報呈朱見深，一邊聯係萬安等人，讓他們利用萬貴妃的寵幸，抨擊汪直的惡行。
由此，朱見深開始疏遠汪直。見此，科道官員們也紛紛上奏，說西廠辦事嚴急苛刻，不符命國家的體統。大臣們也再次提出罷免西廠。是年三月，西廠罷除，朝廷內外歡呼雀躍。
之後，汪直又接連遭受禦史們的彈劾，直至罷職奪俸，貶為平民。就這樣，往日富貴如過眼雲煙般消失。