然而酷吏的下場，往往像他們的名字一樣也很殘酷。因為一個非法治社會，沒有規則的社會，往往是吞噬所有人的社會。非法執法者怎能保證，他自己有一天不會被另一個非法執法者給法辦了呢?
張湯這種動輒“見血封喉”的做法使權貴們感到威脅，為了求得自保，他們隻好聯合起來除之而後快。犯了眾怒，而又能安居高官者，靠的大都是皇帝的寵信，曆朝的皇帝幾乎都有這種毛病，他寵信哪個之際，大夥兒越是反對，他就越是寵信，非要跟眾臣對著來。
但是不要忘記一點，皇帝寵信大臣，就跟寵愛妃子一樣，時間一久，難免會生膩。這時候，寵臣倒黴的日子就到了，張湯也是如此。這些年為皇帝鞍前馬後積攢了很多仇家，朝堂上很多人瞪著血紅的眼睛尋找著機會--一個置他於死地的機會。
武帝元鼎二年(公元前115年)，由於鹽鐵收歸中央政府獨占，極大損害了同姓諸侯國的利益，再加上以前的個人恩怨，趙王劉彭祖率先指控張湯與其下屬魯謁居合謀詭計危害國家。
魯謁居是張湯的心腹，曾故意炮製冤案以陷害張湯的舊怨禦史李文。
魯謁居因趙王上告被關入獄中不久病死。被連累的魯謁居的弟弟認為張湯見死不救，於是在牢裏揭露了其兄與張湯違法挾私尋仇的黑幕。武帝特命廷尉減宣調查李文案，而同為酷吏的減宣恰也是張湯的老對頭，欲借此案置張湯於死地，便私下秘密行動羅織大罪。正在這危機時刻，有賊偷盜了漢文帝陵園的下葬錢，依慣例，丞相莊青翟與張湯相約一同向武帝謝罪。
張湯臨時變卦，單方麵推卸責任，準備先彈劾莊青翟，將罪名全歸於丞相。而丞相府的三位長吏朱買臣、王朝、邊通也都與張湯結有深怨，三人得知張湯計劃後，一起聯名先發製人，替丞相聲辯無罪的同時，告發了張湯平日的種種非法行徑。將前後數件事一一聯係，武帝暴怒，認定張湯內心險詐，一貫欺君，便不由分說，派使者帶著罪名簿以八項大罪痛責張湯。
武帝還派出當年與張湯情同兄弟的酷吏趙禹來質問他。張湯見了好友，自以為事情終有轉機，正準備長篇解釋，卻被趙禹當頭痛斥，“今天你覺得自己冤枉了，當年被你殺的那麼多人就不冤枉嗎?現在別人告你都是有真憑實據的，皇上關你到牢裏，就是希望你自我了斷，為什麼還要爭辯呢?”這麼一折騰，張湯終於清醒了，回想自己昔日所作所為，再以自己對武帝的了解，盡管不甘心，但是非死不可了。
於是，在諸侯、部屬、酷吏、同僚上下內外四麵八方的夾擊下，皇帝也拋棄了這個曾經為自己擺平一切違規者的“戰友”。
在中央政府，這些豪強權貴聯手對付張湯這樣的高級酷吏。與此同時，在地方上，酷吏的日子也不好過。漢武帝派往地方州郡行政機關的酷吏，擾亂了地方權力結盟的內在平衡，中央政權卻又缺乏有效的措施來加以控製，結果導致漢武帝在位後期關東諸郡(華北平原的經濟中心)處於動蕩狀態，乃至群盜紛起，叛亂時作。
吊詭的是，這些叛亂分子與地方豪強、地方官員乃至中央政府的高官，都有著千絲萬縷的聯係。換言之，叛亂分子並非是那些過不下去日子的下層農民，而是武裝起來的地方實力派。這也可視作地方豪強對中央高壓政策的一種對抗性的回應。
位居“三公”的張湯在權貴們的合力構陷下，被逼自盡，死後全部家產不過五百金。這是他為官一生的俸祿加上皇帝的賞賜。下葬時，張家僅以牛車送至地頭，有棺無槨，這在當時是少見的。
張湯雖貧好歹還有五百金，另一個酷吏尹齊全部家產也不滿五十金。
而酷吏董宣執法如山，即使是皇親國戚也不枉法徇私，所以光武帝才稱他為“強項令”。而且他為官清廉，有一次他因堅持原則，處死公主家奴得皇帝賞賜三十萬錢，他卻悉數分給了下屬。待他病故，僅落得“布被覆屍，妻、子對哭”，所遺全部財產僅有大麥數斛，敞車一乘。皇帝感慨道:“董宣廉潔，死乃知之!”
蒼鷹郅都被斬，屠伯延年棄市，乳虎寧成亡家，張湯死於三長史手，王溫舒五族俱滅。這絕非世俗意義上的因果報應，但或可視作是一種惡法循環的因果報應。公元前81年，漢武帝死後的第六年，朝廷召集會議，“舉賢良文學”，全麵檢討漢武帝的政策。被舉之士人，多是地方既得利益者的代言人，對包括打壓豪強在內的漢武帝政策展開了激烈抨擊。漢武帝任用酷吏以打壓地方豪強的多年努力，終歸是失敗了。