汲黯公然批評孫弘、張湯之類炙手可熱的重臣，自然招致他們的嫉恨。丞相公孫弘等人多次尋找借口加害汲黯。漢朝出動大兵攻伐大宛，奪得千裏馬，漢武帝興高采烈地作了一首《天馬歌》，準備在宗廟活動中演奏。汲黯卻兜頭潑起了涼水：“凡王者作樂，上以承祖宗，下以化兆民。今陛下得馬，詩以為歌，協於宗廟，先帝百姓豈能知其音耶？”漢武帝默然不悅。公孫弘借機陷害：“汲黯這是誹謗皇帝的禦製文獻，應該判處滅族重罪。”好在漢武帝還算大度，不願因非議自己的一首詩歌而殺害大臣，否則汲黯就有生命之憂。
汲黯多病，而且已抱病三月之久，皇上多次恩準他休假養病，他的病本卻始終不愈。最後一次病得很厲害，莊助替他請分假，皇上問道：“汲黯這個人怎麼樣？”莊助說：“讓汲黯當官執事，沒有過人之處。然而他能輔佐年少的君主，堅守已成的事業，以利招之他不會來，以威驅之他不會去，即使有人自稱像孟賁、夏育一樣非常勇武，也不能撼奪他的誌節。”皇上說：“是啊。古代有所謂安邦保國的忠臣，像汲黯就很近似他們了。”其實，漢武帝對汲黯的態度比較矛盾，不過還是傾向於敬重。漢武帝敬重汲黯的正直和忠誠，曾經稱讚汲黯有“社稷之臣”的風範。
當時，匈奴為當時邊患之首，武帝傾全力予以抗擊討伐，為了保國安民，事屬的必要，但過於不惜國力，頻繁出征，造成國庫空虛，民生凋敝，也是難以掩飾的事實。一次，匈奴渾邪王叛主率幾萬人來降，武帝命析居於隴西、北地、上郡、朔方、雲中五郡，號稱“五屬國”。當詔命其來京陛見時，武帝命長安令發車二千輛往迎，但苦乏馬匹，隻好向百姓借馬。有的人把馬藏起來，馬無法湊齊。皇上大怒，要殺長安縣令。
當時，汲黯正處在患病中，但是他從床上爬起來，讓人抬著去見漢武帝說：“長安縣令沒有罪，隻要殺了我，百姓就肯獻出馬匹了。況且匈奴將領背叛他們的君主來投降漢朝，朝廷可以慢慢地讓沿途各縣準備車馬把他們順序接運過來，何至於讓全國騷擾不安，使我國人疲於奔命地去侍奉那些匈奴的降兵降將呢！”皇上沉默無言。漢時定製：吏民不得持兵鐵出關售予胡人，犯者死罪！武帝優待降王，民間以降王所屬已非敵人，多售給鐵器，被有司查出，拘捕五百餘人，論死。及待渾邪王率部到來，商人因與匈奴人做買賣，被判處死罪的有五百多人。汲黯請得被接見的機會，在未央宮的高門殿見到了皇上，他說：“匈奴攻打我們設在往來要路上的關塞，斷絕和親的友好關係，我國發兵征討他們，戰死疆場與負傷的人數不勝數，而且耗費了數以百億計的巨資。臣我愚蠢，以為陛下抓獲匈奴人，會把他們都作為奴婢賞給從軍而死的家屬，並將擄獲的財物也就送給他們，以此告謝天下人付出的辛勞，滿足百姓的心願。這一點現在即使做不到，渾邪王率領幾萬部眾前來歸降，也不該傾盡官家府庫的財物賞賜他們，征調老實本分的百姓去伺候他們，把他們捧得如同寵兒一般。無知的百姓哪裏懂得讓匈奴人購買長安城中的貨物，就會被死摳法律條文的執法官視為將財物非法走私出關而判罪呢？陛下縱然不能繳獲匈奴的物資來慰勞天下人，又要用苛嚴的法令殺戳五百多無知的老百姓，這就是所謂‘保護樹葉而損害樹枝’的做法，我私下認為陛下此舉是不可取的。”這一番話，真正觸及了武帝的痛處，武帝忍怒不答，待汲黯退出，乃生氣地對左右道：“久不聽這老頭之言，今日又來胡說了！”話雖如此說，但仍下詔對那五百餘人從輕發落。但當時正逢“大赦”，漢武帝免了汲黯的官，“黯隱於田園”。
元鼎二年（前118年），西漢政府在理財家桑弘羊主持下，實行貨幣改革，禁止郡國鑄錢，廢除半兩錢，由政府鑄造五株錢作為通國貨幣。但又時值國家支用浩繁，府庫為虛，度支之臣巧施鑄錢之法，質輕，價高，暫度財政危機，孰料利之所在，奸民不怕殺頭大罪紛紛從事偽造，私錢泛濫，尤其地處中原要地的淮陽一帶更為嚴重，造成了不可收拾的局麵。《漢書。食貨誌》記載說，從漢武帝到西漢末年的120年間，朝廷共鑄五銖錢280萬萬枚（這種錢，每枚重3.5克，十錢為一兩，十六兩為一斤。算一算，相當於精銅87000多噸，在農耕社會，這可是不得了的一注大財）。
這時，漢武帝又想到了汲黯，征召汲黯出任淮陽太守。汲黯伏地拜辭，不肯受印。武帝對汲黯說：“你是不是嫌淮陽令太小？我今之所以要你去，是顧念到淮陽地方官民相處不融洽，隻想借重你的威望，你隻高臥不上班也可治好。”無奈，汲黯隻好領命。汲黯離京城時，心裏仍惦記著朝政大事，他在向大行官李息告辭時說：“我汲黯再不能參與朝廷的計議了。禦史張湯這個人，喜歡多事，舞文弄法，滿肚子奸詐，以迎合主上心意。你李公位列九卿，如不及早言之，將來會跟他一起受累。”李息畏懼張湯，終不敢言。後來，張湯果因心懷奸詐，犯麵欺主，罪不容赦自殺而死。當皇上聽到汲黯臨行前對李息的忠告時，責李息自保不言，下令辦李息不言之罪。汲黯到淮陽後，仍實行“無為而治”，不到一個月，就處理了前任遺留下來的二十多起積案，並規定：百姓進衙告狀，任何人不得阻攔，可直接到他病榻前當麵陳述。他還經常微服出訪，體察民情，使淮陽社會風氣大變。關於汲黯臥治淮陽郡的故事，至今仍廣泛在民間流傳。現舉兩例：