中央辦公廳本身的工作，並不是我的回憶錄第二冊要寫的主要內容，也就是說回憶錄第二冊並非要寫中央辦公廳本身的工作。中央辦公廳的工作主要是為中央服務。李欣查了不少資料，把我在中辦20年的情況寫了一大本，送給我看，我說，你寫書怎麼寫都可以，我的回憶錄就不能這麼寫。我的回憶錄應該寫我當辦公廳主任期間中央發生了什麼大事和中央辦公廳怎樣為中央處理這些事服務。既要堅持實事求是，還曆史本來麵貌，也不能隻羅列一些事件，必須有材料、有觀點，文字力求簡練。
陳麒章整理的高饒事件那一篇，是寫得不錯的。但是還要研究一下，高饒問題在我的回憶錄裏要不要占那麼大的分量。高饒問題、財經會議、組工會議、七屆四中全會都要說到，因為這在黨史上都是重要事件，我也都參與了。但這些都隻能簡要地寫，如果每件事都獨立成章，那這20年就不知道要寫多少章。
關於蘇共二十大以後的中蘇兩黨關係，我最熟悉，也是我的回憶錄裏不可缺少的一部分。關於這個問題，我對趙仲元說了，你同閻明複兩個人商量，情況你們最了解，手上也有材料，可以先去整理一個稿子交給我，然後我們討論、修改，不像別的問題，必須是我談了，他們才能動手寫。現在我不幹擾你們。
現在一個最大的問題，是我們黨的兩位領導人毛澤東、劉少奇之間的矛盾產生和發展過程。這在中央辦公廳的工作中是有反映的。你要寫中央辦公廳20年，對這些是無法回避的。但是，怎麼寫，需要認真地考慮。
如果回憶錄第二冊隻寫中央辦公廳本身的工作，那很簡單，有萬把字就夠了。辦公廳的工作實際上就是秘書工作，處理中央交辦的日常事務。主要是處理文件和生活服務，還有安全保衛。我在中央辦公廳這個崗位上，就是中央交辦什麼就辦什麼，所以我常說我是“聽用”。比如，1962年精減城市人口，動員2000萬人口下鄉，就是我辦的。我是中央精簡小組組長，經常辦事的就是馬文瑞、郗占元和我幾個人，搞了一年多。
中央辦公廳有一項比較重要的工作，就是建立各種製度。過去在延安時，辦公廳管的麵比較窄，各種製度有也隻是個雛形。以後逐步發展，到20世紀50年代，中央辦公廳已經發展成為一個“大攤子”，機構和各種製度都逐步健全，如保密製度，機密文件的管理、文書立卷和歸檔製度，中央檔案館的建立等等。中央檔案館是我和曾三兩個人積極籌劃，在周總理的支持下建立起來的。
中央辦公廳的機構也是有分有合，時分時合，根據工作需要不斷地變化。還有一點，由我那時起直到現在，中央辦公廳和地方各級黨委辦公廳沒有隸屬關係。那時各省、市、自治區黨委辦公廳都提出要中央辦公廳領導，我說這不行。各級黨委辦公廳是為你們的同級黨委服務的。你們黨委要你們做什麼、怎麼做，你們就做什麼、怎麼做，業務上可以互相交流經驗，但是沒有領導和被領導的關係。
關於中辦本身的問題，我的回憶錄裏可以寫一點，也可以不寫。如果寫，筆墨不能太多。
寫中辦20年，還是要靠中辦的幾位老同誌。他們都很積極、很熱心，更重要的是他們熟悉情況，寫起來得心應手。陳麒章也是80歲的老人了，他仍自告奮勇寫出了那篇《高饒事件》。他所以寫得好，因為他也是親身經曆，熟悉情況嘛。當然就回憶錄全書講，要靠中央文獻研究室。這方麵，應該講李琦已經盡了很大力量，除了章學新、龔希光這些已經退下來的老同誌以外，還設法從文獻研究室給我們擠出了幾個年輕的業務骨幹。但是像現在這樣搞下去，時間要很長。要考慮他們工作也很忙，不可能長期抽出這麼多力量來幫助我搞回憶錄。因此，我們一定要抓緊時間，力爭朝夕。哪些應該保留，哪些應該取掉，要有一個總體布局。
最後，“文化大革命”寫不寫？如果寫，在我這本書裏也隻能簡單地寫我在“文化大革命”中被羅織了什麼罪名，受了什麼折磨就可以了。還有，由於我的問題株連了很多好同誌，要向他們表示歉意。