汲黯多病，而且已抱病三月之久，皇上多次恩準他休假養病，他的病體卻始終不愈。最後一次病得很厲害，莊助替他請假，皇上問道：“汲黯這個人怎麼樣？”莊助說：“讓汲黯當官執事，沒有過人之處。然而他能輔佐年少的君主，堅守已成的事業，以利誘之他不會來，以威驅之他不會去，即使有人自稱像孟賁、夏育一樣勇武非常，也不能憾奪他的誌節。”皇上說：“是的。古代有所謂安邦保國的忠臣，像汲黯就很近似他們了。”
大將軍衛青入侍宮中，皇上曾蹲在廁所內接見他。丞相公孫弘平時有事求見，皇上有時連帽子也不戴。至於汲黯進見，皇上不戴好帽子是不會接見他的。皇上曾經坐在威嚴的武帳中，適逢汲黯前來啟奏公事，皇上沒戴帽，望見他就連忙躲避到帳內，派近侍代為批準他的奏議。汲黯被皇上尊敬禮遇到了這種程度。
張湯剛以更改製定刑律法令做了廷尉，汲黯就曾多次在皇上麵前質問指責張湯，說：“你身為正卿，卻對上不能弘揚先帝的功業，對下不能遏止天下人的邪惡欲念。安國富民，使監獄空無罪犯，這兩方麵你都一事無成。相反，錯事你竭力卻做，大肆破壞律令，以成就自己的事業，尤為甚者，你怎麼竟敢把高祖皇帝定下的規章製度也亂改一氣呢？你這樣做會斷子絕孫的。”汲黯時常和張湯爭辯，張湯辯論起來，總愛故意深究條文，苛求細節。汲黯則出言剛直嚴肅，誌氣昂奮，不肯屈服，他怒不可遏地罵張湯說：“天下人都說絕不能讓刀筆之吏身居公卿之位，果真如此。如果非依張湯之法行事不可，必令天下人恐懼得雙足並攏站立而不敢邁步，眼睛也不敢正視了！”
這時，漢朝正在征討匈奴，招撫各地少數民族。汲黯力求國家少事，常借向皇上進言的機會建議與胡人和親，不要興兵打仗。皇上正傾心於儒家學說，尊用公孫弘，對此不以為意。及至國內事端紛起，下層官吏和不法之民都弄巧逞誌以逃避法網，皇上這才要分條別律，嚴明法紀，張湯等人也便不斷進奏所審判的要案，以此博取皇上的寵幸。而汲黯常常詆毀儒學，當麵抨擊公孫弘之流內懷奸詐而外逞智巧，以此阿諛主上取得歡心；刀筆吏專門苛究深摳法律條文，巧言加以詆毀，構陷他人有罪，使事實真相不得昭示，並把勝獄作為邀功的資本，於是皇上越發地倚重公孫弘和張湯，公孫弘、張湯則深恨汲黯，就連皇上也不喜歡他，想借故殺死他。公孫弘做了丞相，向皇上建議說：“右內史管界內多有達官貴人和皇室宗親居住，很難管理，不是素來有聲望的大臣不能當此重任，請調任汲黯為右內史。”汲黯當了幾年右內史，任中政事井井有條，從未廢弛荒疏過。
大將軍衛青已經越發地尊貴了，他的姐姐衛子夫做了皇後，但是汲黯仍與他行平等之禮。有人勸汲黯說：“從天子那裏就想讓群臣居於大將軍之下，大將軍如今受到皇帝的尊敬和器重，地位更加顯貴，你不可不行跪拜之禮。”汲黯答道：“因為大將軍有拱手行禮的客人，就反倒使他不受敬重了嗎？”大將軍聽到他這麼說，更加認為汲黯賢良，多次向他請教國家與朝中的疑難之事，看待他勝過平素所結交的人。
淮南王劉安陰謀反叛，畏懼汲黯，說：“汲黯愛直言相諫，固守誌節而寧願為正義捐軀，很難用不正當的事情誘惑他。至於遊說丞相公孫弘，就像揭掉蓋東西的蒙布或者把快落的樹葉振掉那麼容易了。”當今天子已經多次征討匈奴大獲戰績，汲黯主張與胡人和親而不必興兵征討的話，他就更加聽不進去了。當初汲黯享受九卿待遇時，公孫弘、張湯不過還是一般小吏而已。等到公孫弘、張湯日漸顯貴，和汲黯官位相當時，汲黯又責難詆毀他們。不久，公孫弘升為丞相，封為平津侯；張湯官至禦史大夫；昔日汲黯手下的郡丞、書史也都和汲黯同級了，有的被重用，地位甚至還超過了他。汲黯心窄性躁，不可能沒有一點兒怨言，朝見皇上時，他走上前說道：“陛下使用群臣就像堆柴垛一樣，後來的堆在上麵。”皇上沉默不語。一會兒汲黯退了下去，皇上說：“一個人確實不可以沒有學識，看汲黯這番話，他的愚直越來越嚴重了。”