廬山會議後的彭德懷
廬山會議後，撤銷了彭德懷在軍隊內的職務，但仍保留中央委員、中央政治局委員的職務。黨內文件照發，中央政治局會議也照常通知他參加，不過彭德懷照例請假就是了。根據毛澤東的意見，彭德懷有什麼事都是通過楊尚昆這個辦公廳主任向中央反映。
1959年國慶節前夕，彭德懷搬出中南海，移居吳家花園。10月21日，毛澤東找彭德懷談話，劉少奇、周恩來、朱德、鄧小平、彭真、賀龍、陳毅等同誌都到了，我也在座。毛澤東肯定了彭德懷9月9日寫信要求學習和參加生產勞動的意見。說讀幾年書好，要學點馬克思主義的哲學、政治經濟學。談話時氣氛很好，談話以後又共進午餐。彭德懷離去以後，毛澤東囑我以後要經常去看望彭德懷。每月至少兩次，主要是了解他的思想動態，幫助他聯係和解決學習和生活上的一些問題。11月9日，我和彭真一起去彭德懷處，在彭那裏召集高級黨校黨委常委會，楊獻珍、艾思奇、範若愚等同誌都到了。當場安排了彭德懷到黨校學習的問題，並當麵交代，彭德懷是毛主席批準到黨校學習的，要派專人輔導他的學習，有什麼問題由楊獻珍同彭德懷直接聯係。
後來，毛澤東多次提出，要彭德懷出來做點事。有一次，他對我說，可以讓彭德懷當農墾部部長，要我去征求彭德懷的意見。當然，如果彭德懷同意，下一步還要做王震的工作，讓王震把農墾部部長的位置讓出來。我考慮，那時彭德懷的情緒很不好，不可能出來工作，因而一直沒有同彭德懷談。還有一次，毛澤東指定我和陳毅、聶榮臻三個人去做彭德懷的工作，主要是說服彭德懷承認錯誤，有所表示。可是彭德懷心裏不服，一直頂著不表態，我們三個人都認為不好開口。以後我見到毛澤東，就說你要我們三個人去做彭德懷的工作，你講個方針才好。毛澤東看到我們有難處，笑了笑說，那就算了吧!
1961年9月19日，彭德懷給毛澤東寫信，要求到農村去做調查研究，請求中央允許他先去湖南故鄉搞三個月，了解農村情況，明年春天再去山西太行。他提出，如果允許他外出調查，行前希望見主席一麵。我立即把彭德懷的信送給毛澤東，過了些日子，毛澤東批回來：“彭德懷到哪裏去都可以。半年也行。”10月23日，我去彭德懷處，把毛澤東同意他下去調查的情況告訴他。25日晚，彭德懷到我的辦公室，交來一份去湖南的調查提綱，並要求中央辦公廳給他派一個臨時秘書，隨他去湖南，幫助整理調查材料。第二天，我把金石同誌找來，對他說：“彭德懷最近提出要回湖南家鄉看看，作些農村調查。因為廬山會議後彭原來的秘書都回軍委去了，這次他下去要求中辦給他派一位同誌幫他整理材料，我們考慮你去比較合適。”金石有些緊張，我對他說：“彭德懷現在仍然是政治局委員，你還是要尊重他。你幫他整理材料，他要你怎麼寫，你就怎麼寫，有錯誤由他負責，與你無關。”
10月30日，彭德懷離京去湖南。他到長沙後，湖南省委書記胡繼宗向他介紹了有關情況；在湘潭，由湘潭地委書記華國鋒接待。11月3日，彭德懷就到了他的家鄉湘潭縣烏石大隊為民生產隊（彭家圍子）。
一個多月以後，彭德懷從華國鋒那裏得知中央準備召開一次由中央局、省、地、縣委和大的廠礦企業一級負責人參加的擴大的中央工作會議，他認為這個會議主要是總結1958年“大躍進”以來的經驗教訓，十分重要，決定立即結束湖南調查返回北京。
彭德懷這次去湖南，曆時50多天，最後整理了5份調查報告，他要金石交給我，並附信說：“這些材料都已經和省、地、縣委同誌交換過意見，沒有大的不同意見。如有錯誤，完全由我負責。”我把彭德懷的幾份調查材料連同金石寫的隨彭德懷去湖南情況的報告一並報送毛澤東。這件事，事前經過毛澤東批準，事後又向毛澤東作了報告，從工作程序和組織原則上講都是無可指責的。
彭德懷回京以後，看到1962年1月擴大的中央工作會議(即七千人大會)的文件，對劉少奇的書麵報告認為是比較實事求是地總結了1958年以來的經驗教訓，還是滿意的；對報告中再次肯定廬山會議的反右傾鬥爭，也不想要求平反。但是，1月27日，劉少奇在大會上講話，說：“彭德懷的錯誤不隻是寫了那封信，一個政治局委員向中央主席寫信，即使信中有些意見是不對的，也並不算犯錯誤。”“廬山會議之所以要展開反對彭德懷同誌的反黨集團的鬥爭，是由於長期以來彭德懷同誌在黨內有一個小集團。他參加了高崗、饒漱石反黨集團。”“更主要的不是高崗利用彭德懷，而是彭德懷利用高崗，他們兩個人都有國際背景，他們的反黨活動，同某些外國人在中國搞顛覆活動有關”。因而，“所有的人都可以平反，唯彭德懷同誌不能平反”。彭德懷對此非常氣憤，立即打電話給我說：“請轉報主席和劉少奇，鄭重聲明沒有此事。”事後，彭德懷還向人表示，看了劉少奇的講話，很不舒服。書讀不下去，覺也睡不好。彭德懷本來打算春節以後再到太行山老解放區去看看，搞些調查研究，現在這個樣子不能去了，去了人家不好辦。