刑滿釋放後，明確規定，不得留北京，不得向任何人講他被逮捕和判刑的經過及真相。1965年12月底，被秘密安置到江蘇阜寧中學圖書館當圖書管理員，每月發放37元生活費。幾個月後，“文化大革命”開始了，他又被揪出來，接受群眾批鬥、打倒、管製，幾乎被折磨至死……
胡耀邦握著惲逸群的手，對他說：“你的冤情我都知道了，馬上就會解決的。”隨即，胡耀邦拿起電話機，要通了最高人民法院院長江華，請江華認真解決此案。
不久，胡耀邦又接到惲逸群的電話，說最高人民法院已經撤銷了原來對他的錯判，並為他恢複了名譽。同時，惲逸群迫切要求發揮餘熱，安排工作。當年8月，中組部把他安排到南京中央第二檔案館先臨時工作。
這天上午，中組部又來了一對老人。一位頭發花白的60多歲的女同誌扶著一個手拄拐杖、雙目幾乎失明的老同誌。他們來到傳達室問：“請問胡耀邦同誌在不在？”
“今天上午耀邦同誌有個會。”門衛回答。“那就不打擾了。我們有封信請你轉交給他。”“好的。”門衛收下。
門衛按照胡耀邦對工作中的要求，趕快把信送到樓上胡耀邦的手中。胡耀邦看罷信，忙問：“人呢？”
“走了，留下信說了幾句話就離開了！”
胡耀邦長歎了一口氣，說：“曾三、沈義都是多年革命的老同誌啦！”
然後，他說：“會議暫停一下，我把這封信讀給大家聽聽。”他情緒激動地讀了起來。他用手不停地敲擊桌子說：“曾三同誌1931年參與創建中國工農紅軍的無線電通訊事業，先後擔任中共蘇區中央局電台政委兼台長和紅軍通信學校政委，貢獻是重大的。這些當年我這個‘紅小鬼’都清清楚楚。解放後，曾三任中共中央辦公廳秘書處長、秘書局長、辦公廳副主任，成為新中國第一任中央檔案局局長、中央檔案館館長。就這麼一個革命中成長起來的同誌，怎麼會‘裏通外國’、‘盜竊擴散中央機密檔案’呢？簡直是莫須有！”
從批判“四人幫”聯係當前，胡耀邦氣憤地說：“現在硬是有這麼一些人，不把許多老同誌整個死，也要把他們整脫一層皮，處處事事都刁難至極！”
他馬上在信上寫上處理意見，讓人送給中央副主席汪東興，請求趕快落實平反。很快，曾三老兩口的問題解決了。
有人在中組部找不到胡耀邦，就到他的家裏來，漸漸地，胡耀邦的家也成了接待室。胡耀邦開始思索了，到中組部短短幾個月，已有很多老同誌登門上訪，信件和電話不下千餘，由此看來，有冤的老同誌和幹部肯定還有很多，隻不過他們還沒有直接敞開心扉鳴冤叫屈，工作還得主動、深入。
他馬上指派人員到中組部招待所找周揚、丁玲、林鐵等尚未“解放”的老同誌談心，又請來人民日報社的同誌采訪他們。
胡耀邦聽派出去的人回來彙報說還有不少老同誌心有餘悸，吞吞吐吐，說：“許多老同誌被整怕了，被整得心碎了。應該關懷愛護他們，鼓勵他們重新振作起來。”於是，他讓這些調查的同誌再寫一篇題為《老幹部的光榮責任》的文章，激勵老同誌挺起腰杆，放眼未來，勇於承擔曆史重任，做好對中青年的傳、幫、帶。這篇萬字的文章在《人民日報》發表後，在全國引起了很大反響。
康生定的“鐵案”被翻了過來
一封於1977年11月11日寫給中共中央的反映信轉到了胡耀邦的案頭，信是原輕工部第一副部長孔祥禎寫的，事關被康生、“四人幫”一夥誣陷為“叛徒集團”的“六十一人案”，關係到一大批黨和國家的領導幹部。
信中寫道：“為了給國民黨統治時期的監獄送信一事，我受了八年監禁，兩年下放，身已癱瘓，現猶未痊愈。幸由葉副主席批準我今年回京，現在北京醫院治療。在此九死一生之際，常有一事，使我耿耿於懷，日夜難忘者，即對北平軍人反省院一些幹部出獄的事實，不能使組織上和群眾徹底明了當時的情況，實在心常戚戚。為何這樣說呢？因為張聞天早死，柯慶施去世，徐冰身亡，殷鑒早歿，而親身經曆其事者，隻我一人。我若不說，誰還能詳細說出這件事件的經過呢……”
信的最後寫道：“這不是我個人的問題，而是事關幾十個幹部政治生命的大事，若不及早報告中央，一旦個人命盡，真會使我死不瞑目，遺憾九泉了。”
胡耀邦知道這個冤案的分量。康生、“四人幫”曾咬定，這個“隱瞞”了幾十年的“叛徒集團”，是“永遠翻不了”的“鐵案”“鋼案”。
曆史倒回到11年前，就可以清楚地看出康生、“四人幫”是如何精心炮製“六十一人”集團冤案的了。
1967年，史無前例的“文化大革命”爆發的第二年，康生、“四人幫”為了達到陷害黨內老幹部的罪惡目的，在全國範圍內刮起了一股“抓叛徒”的妖風。他們到處煽風說：“南開大學有個抓叛徒戰鬥隊，發現了61人的‘叛徒集團’。”
江青在軍委擴大會上得意洋洋地說：“紅衛兵小將的功勞可大啦”，並說：“要是沒有他們，怎麼能搞出那個叛徒集團啊！”
所謂“六十一人”集團案主要是指薄一波、安子文、劉瀾濤、楊獻珍等，1936年根據黨的指示，從草嵐子監獄（北平軍人反省分院）出來的一批革命同誌。在獄中，他們與國民黨反動派進行了針鋒相對的鬥爭。但是，“文化大革命”開始後，康生、“四人幫”背著黨中央，把他們統統當作“叛徒”抓了起來。
1967年元旦清晨，中央文革小組批準由北京地質學院的幾十名紅衛兵組成的“抓叛徒戰鬥隊”，從北京直奔廣州，把正在療養的薄一波“揪回北京去”。年近六旬的老人被紅衛兵扭胳膊、揪衣領，推推搡搡押回北京。
2月9日，在康生、“四人幫”的操縱下，在北京工人體育館召開批鬥薄一波的大會。不久，就被押往德勝門外的監獄裏，“罪名”一大串：“劉鄧黑司令部的幹將”“劉少奇叛徒集團的主要分子”“大叛徒”“反革命修正主義分子”“三反分子”，等等，等等。