張湯之所以在這裏被稱作漢朝的第一酷吏，並不是說他的凶殘和冷酷足以當此第一，而是因為他的影響在漢朝酷吏中是最大的，他所處的時代是漢武帝執政時期，也是大漢朝最為輝煌和成功的時期，張湯作為武帝時期的重要官員，其作為酷史的影響是深遠的。
張湯的父親是長安縣丞，有一次要出門家裏沒有人看家，張湯當時還是小孩，父親就讓他在家看門。父親回家後，看到老鼠偷了肉，就認為是張湯的錯，於是發怒用鞭子打了他。被父親打後，張湯卻掘開鼠洞，找到偷肉的老鼠和沒吃完的肉，舉告老鼠的罪行，加以拷打審問，記錄審問過程，雖然明知老鼠不會說話，他卻反複審問，還有模有樣地把判決的罪狀報告上級，當堂最後定案，把老鼠分屍處死。他的父親看到這個情景，又看到那判決辭就像老練的法官所寫，特別驚訝，認為兒子有這方麵的天賦，於是就開始讓張湯學習斷案的文書。父親死後，張湯就接替了他父親的職位，做了很長一段時間的長安官員。
周陽侯田勝在開始做九卿之官時，曾經因犯罪被拘禁在長安，當時張湯盡其全力對他加以保護。後來田勝出獄封侯後，與張湯密切交往，並把當朝權貴一一介紹給張湯，讓張湯同他們相識。因為田勝的關係，張湯開始在內史任職，做寧成的屬官，因為張湯才華無比，寧成就向上級官府推薦，被調升為茂陵尉，主持陵墓土建工程，並且把這件事做得很不錯。
當時，武安侯田蚡當了丞相，就征召張湯做內史，並且經常向天子推薦他，於是就被任命為禦史，處理案件。他主持處理陳皇後巫蠱案件時，深入追究同黨，一個都不放過，把這件案子處理得讓皇上很高興。於是漢武帝認為他有辦事能力，逐步提拔他當了太中大夫。他與趙禹一起製定各種苛刻嚴峻的法律條文，約束在職的官吏。不久，趙禹被提升為中尉，後又改任少府，而張湯當了廷尉，兩人很友好地交往，張湯以對待兄長的禮節對待趙禹。趙禹是個為人廉潔傲慢的人，當官以來，家中沒有食客。即使有三公九卿前來拜訪，他也始終不回訪答謝，務求斷絕與知心朋友和賓客的來往，獨自一心一意地處理自己的公務。他看到法令條文就取來，也不去複查，以求追究從屬官員的隱秘和罪過。而張湯為人多詐，善施智謀控製別人。他開始當小官時，就喜歡以權自謀私利，曾與長安富商田甲、魚翁叔之流勾結。待到了九卿之官時，便結交天下名士大夫，自己內心雖然同他們不合，但表麵卻裝出仰慕他們的樣子。所以，趙禹與張湯雖然性格不合，但兩同朝為官，並且都是喜歡執行暴行和酷刑的官員，再加上他們要相互配合辦案，所以他們才會和睦相處。
當時，漢武帝向心儒家學說，為了投其所好，張湯在判決大案時，就想附會儒家觀點，因此就請那些博士弟子們研究《尚書》、《春秋》，他自己則擔任廷尉史，請他們評判法律的可疑之處。每次上報判決的疑難案件，都預先給皇上分析事情的原委，皇上認為對的，就接受並記錄下來，作為判案的法規，以廷尉的名義加以公布，頌揚皇上的聖明。反之，如果奏事遭到譴責，張湯就認錯謝罪，順著皇上的心意，並且一定會舉出正、左右監和賢能的屬吏，說：“他們本來向我提議過，就像皇上責備我的那樣，我沒采納，愚蠢到這種地步。”因此，他的罪常被皇上寬恕不究。他有時向皇上呈上奏章，皇上認為好，他就說：“臣我不知道寫這奏章，是正、左右監、椽史中某某人寫的。”當他想推薦某個官吏，或者想表揚某人的好處，或者是掩蔽某人的過失時，他也常常這樣做。他所處理的案件，如果是皇上想要加罪的，他就交給執法嚴酷的監史去辦理；如果是皇上想寬恕的，他就交給執法輕而公平的監史去辦理。他所處理的如果是豪強，則一定要玩弄法律條文，巧妙地進行誣陷。如果是平民百姓和瘦弱的人，則常常用口向皇上陳述，雖然按法律條文應當判刑，但他往往會請皇上明察裁定。於是，皇上往往就寬釋了張湯所說的人。張湯雖做了大官，但有著很好的自身修養，經常與賓客交往，同他們喝酒吃飯，對於老朋友當官的子弟以及貧窮的兄弟們，也都很照顧。他拜問三公的時候，常常是不避寒暑辦公。所以張湯雖然執法嚴酷，內心嫉妒，處事不純正公平，卻落得個好名聲。那些執法酷烈刻毒的官吏都被他用為屬吏，又都依從於儒學之士。丞相公孫弘屢次稱讚他的美德。他處理淮南王、衡山王、江都王謀反的案件時，也都能窮追到底，嚴格執法，不徇私情。嚴助和伍被，本來是皇上想寬恕的人，張湯卻爭辯說：“伍被本來是策劃謀反的人，嚴助是皇上親近寵幸的人，是出入宮廷禁門的護衛之臣，竟然這樣私交諸侯，如不殺他，以後就不好管理臣下了。”於是，皇上同意了張湯對他們的判決。由此，張湯更加受到皇上的尊寵和信任，被提升為禦史大夫，官職越來越高。