焦裕祿帶病下鄉暈倒之後，被立即送往醫院，經醫生診斷，必須馬上轉院。
在去開封治病前夕，焦裕祿放心不下剛剛取得進展的除“三害”工作，他找這個談談，那個問問，把縣委的工作做了細致的交代和部署，一直忙了一整天，直到夜深人靜，才拖著疲憊、酸疼的身子回到自己家裏。
3月23日，焦裕祿要到開封去治病了，心裏有一種強烈的失落感。他望著戰鬥了幾百個口日夜夜的蘭考大地，充滿了無限的依戀之情：“不！我一定要回來，和同誌們一起除‘三害’，戰天鬥地。”焦裕祿臨上火車前。又把除“三害”辦公室主任叫到跟前，說：“除‘三害’是蘭考人民的迫切要求，是黨交給我們的光榮任務，你們一定要搞好，我看病回來，還要聽你全麵彙報除‘三害’的進展情況哩！”
焦裕祿說話聲音不高，卻敲動了每個同誌的心弦。
焦裕祿由開封又轉到鄭州河南醫學院附屬醫院。經醫生診斷，是原發性肝癌，病情十分嚴重。黨組織為了挽救焦裕祿的生命，又把他轉到北京診斷治療。在北京，幾位有名的醫學專家經過會診，開出了一張診斷書，上麵寫道：“肝癌後期，皮下擴散。”這是不治之症啊！當時，醫院沒把這個診斷書給焦裕祿看，給他的是另一張：“嚴重肝炎，注意休息。”
陪同焦裕祿去治病的同誌，決不相信這個診斷書，人像傻了似的，連聲問道：“什麼？什麼？”醫生懷著沉重的心情，說：“焦裕祿同誌最多還有二十天時問，趕快送他回去吧！”這位同誌一聽，放聲痛哭起來，他抓住醫生的手，說：“醫生同誌，我求求你，我懇求你，請你把焦書記的病治好，我們蘭考是個災區。蘭考人民離不開他呀！”
醫生說：“癌症現在還是一個難題，不過，我們醫務工作者，一定用焦裕祿同誌的革命精神，盡快攻占這塊高地。”
焦裕祿又被轉回到鄭州，進行人道治療。醫生把焦裕祿安置在一間隔音的房間裏，對他說：“你要是疼得厲害，就放大聲喊吧！”但他始終沒有呻吟一聲。
焦裕祿的病終於到了最危急的關頭，醫院連續發出病危通知。縣上不少同誌去鄭州看望他。他總是不談自己的病，先問縣裏的工作情況。他問：“張莊的沙丘封住了沒有？趙朵樓的莊稼淹了沒有？秦砦鹽堿地上麥子長得咋樣？老韓陵的泡桐栽了多少？……”他要同誌們帶一把秦砦鹽堿地上的麥子給他看看，還特別囑咐一個同誌轉告縣委：把他沒寫完的那篇文章繼續寫完。
5月初，焦裕祿病情垂危！省、地、縣委的領導代表黨組織去看望他。焦裕祿掙紮著拉住領導同誌的手，問道：“我的病到底還行不行？”領導同誌懷著沉痛的心情，對焦裕祿說：“裕祿同誌，黨為了治好你的病，’盡了最大的努力，可是……你有什麼話要說，就向組織上講吧！”
焦裕祿聽了這個消息，稍稍振作一下精神，拉著省委領導同誌的手說：“感謝黨組織對我的關懷，我沒能很好地完成黨交給我的任務，沒實現蘭考人民的要求，心裏感到不安。”
省、地委的領導說：“裕祿同誌，你已經出色地完成了黨的任務，你已經把畢生的精力，獻給了黨和人民，你不愧為一個真正的共產黨人。”
這時候，焦裕祿是多麼想和黨多說幾句話呀！可是，他舌硬氣短，隻是斷斷續續地說：“蘭考是個災區……我死了……不要多花錢。我死後……隻有一個要求……要求組織上把我運回蘭考……埋在沙丘上……活著我沒有治好沙丘……死了……也要看著蘭考人民把沙丘治好。”
1964年5月14日清晨，焦裕祿同誌的心髒停止了跳動。
一個優秀的共產黨員、偉大的共產主義戰士、毛澤東同誌的好學生，走完了他那完全、徹底為人民服務的光輝一生，與世長辭了！
這一年，他才42歲。
他死後，人們在他的病床枕下發現兩本書：一本是《毛澤東選集》，一本是《論共產黨員的修養》。人們還在他的日記本上，看到了這樣一段話：“我想，作為一個革命戰士，就要像鬆柏一樣，無論在烈日炎炎的夏天，還是在冰天雪飄的嚴冬，永不凋謝，永不變色；還要像楊柳一樣，栽在哪裏活在哪裏，根深葉茂，茁壯旺盛；要像泡桐那樣，抓緊時間，迅速成長，盡快地為人民貢獻出自己的力量。”這就是焦裕祿一生所走過的道路的最生動的寫照。
焦裕祿不愧為黨的好幹部，不愧為人民的好兒子，不愧為縣委書記的好榜樣。他的一生是革命的一生，戰鬥的一生，光輝的一生。他沒有死，他永遠活在全國人民的心裏。