張湯的死，最直接的原因是朱買臣的陷害。二人之間的嫌隙由來已久。最初，長史朱買臣是會稽人，攻讀《春秋》。莊助讓人向皇帝推薦朱買臣，朱買臣因為熟悉《楚辭》的緣故，同莊助都得到皇上的寵幸，從侍中升為太中大夫。當時張湯隻是個小官，在朱買臣等麵前下跪聽候差遣。不久，張湯當了廷尉，辦理淮南王案件，排擠莊助，朱買臣心裏開始怨恨張湯。待張湯當了禦史大夫，朱買臣從會稽太守的職位上調任主爵都尉，位列九卿之中。幾年後，因犯法罷官，代理長史，去拜見張湯，張湯坐在日常所坐的椅子上接見朱買臣，他的丞史一類的屬官也不以禮對待朱買臣。朱買臣因此更加怨恨張湯，常想把他整死。王朝是齊地人，憑著儒家學說當了右內史。學習縱橫家的思想學說，是個性格剛強暴烈的強悍之人。兩次做濟南王的丞相。從前，他們都比張湯的官大，不久丟了官，代理長史，對張湯行屈體跪拜之禮。張湯屢次兼任丞相的職務，知道這三個長史原來地位很高，但卻常常欺負壓製他們。因此，三位長史合謀並對莊青翟說：“開始張湯同你約定一起向皇上謝罪，緊接著就出賣了你；現在又用宗廟之事控告你，這是想代替你的職位。我們知道張湯的不法隱私。”於是就派屬吏逮捕並審理張湯的同案犯田信等人，說張湯將要向皇上奏請政事，田信則預先就知道，然後囤積物資，發財致富，同張湯分贓，還有很多其他的關於張湯的壞事。這些事的供詞被皇上聽到了，皇上向張湯說：“我所要做的事，商人則預先知道此事，越發囤積那些貨物，這好像有人把我的想法告訴了他們一樣。”張湯聽了明知皇上是在懷疑自己，可他不但不謝罪，反而假裝驚訝地說：“應該說一定有人這樣做了。”這時減宣也上奏書報告張湯和魯謁居的犯法之事。天子果然以為張湯心懷狡詐，當麵欺騙君王，派八批使者按記錄在案的罪證審問張湯。張湯自己說沒有這些罪過，不服。於是皇上派趙禹審問張湯。趙禹來了以後，責備張湯說：“皇上怎能不知道情況呢？你辦理案件時，被夷滅家族的有多少人呢？如今人家告你的罪狀都有證據，天子難以處理你的案子，想讓你自己想法自殺，何必多對證答辯呢？”張湯就寫信謝罪說：“張湯沒有尺寸之功，起初隻當文書小吏，陛下寵幸我，讓我位列三公之位，無法推卸罪責，然而陰謀陷害張湯的罪人是三位長史。”於是張湯就自殺了，一代酷史，最終也逃脫不了如此悲慘的下場。
張湯雖然執法嚴酷，但並不貪財，在他死時，家產總值不超過五百金，都是所得的俸祿和皇上的賞賜，沒有其他的產業。張湯的兄弟和兒子們想厚葬張湯，他的母親說：“張湯是天子的大臣，遭受惡言誣告而死，何必厚葬呢？”於是就用牛車拉著棺材，沒有外槨。天子聽到這情況後，說：“沒有這樣的母親，生不出這樣的兒子。”就窮究此案，認為張湯是冤枉的，把三個長史全都殺了。丞相莊青翟也自殺。田信被釋放出去。皇上憐惜張湯，逐漸提拔他的兒子張安世。
張湯雖然死的有點冤，但畢竟沒有禍殃自己的家族，反而因為皇上的憐惜，讓他的兒子當上了官，也不能不說是張湯及其家族的幸運了。