還有一件事，1964年中央決定進行全國人口普查，成立人口普查領導小組，讓我當組長。事情是這樣的，隨著精減城市人口2000萬任務的完成，國民經濟調整取得重大成效，為了摸清我國人口狀況，為編製國民經濟第三個五年計劃和十五年設想提供準確數據，距第一次人口普查已經11年的第二次人口普查提上議事日程。2月10日，中央決定我為人口普查領導小組組長，周榮鑫、徐子榮為副組長。那時進行人口普查，沒有現代化手段，普查項目也比較簡單，主要依托公安部門的戶籍管理力量進行。經過幾個月的緊張工作，取得了1964年7月1日的人口數據：全國（不包括港、澳、台）人口為6.9458億人，比第一次人口普查時的6.0193億人增加了近1億人。但是在普查中發現，1960年底全國人口比1959年底有所減少。這是自建國以來第一次出現人口負增長。盡管當時統計手段落後，統計數據不可能十分準確，但卻大體上反映了那時部分農村由於各種原因發生的非正常死亡現象，是一個很值得重視的情況。人口普查各項數據彙總後，我們向毛澤東作了彙報。第二次全國人口普查就這樣結束了。
總之，中央讓我幹什麼我就幹什麼，是個“聽用”。“聽用”起什麼作用？我想大概起個甘草的作用。甘草是中藥裏使用最廣泛的一種輔藥，一種調和藥，一劑藥裏加上一點甘草，就能使這劑藥更好地發揮療效並減少副作用。過去，我常為一年四季忙到頭，年終卻總結不出幾條成績想不通，現在我體會到，起個甘草的作用就是成績。
中央辦公廳就是為中央服務
楊尚昆說:
歸根到底中央辦公廳就是為中央服務，保證中央工作正常運轉。同時，它承上啟下，起一個中間環節的作用。
那時，地方黨委都要求中央辦公廳有一個統一指揮，希望中央辦公廳對省、市、自治區黨委辦公廳實行垂直領導。我無論如何不同意這個意見。我說辦公廳不能像別的部門一樣自成係統，我們上下沒有什麼領導關係。中辦是中央的辦事機構，是為中央服務的，你們是你們黨委的辦事機構，是為你們黨委服務的。你們如何工作要受你們黨委的領導，你們黨委要你們怎麼辦就怎麼辦。當然，中央召開有各地負責同誌參加的會議時，我也常常找隨同來京的各地秘書長、辦公廳主任座談，溝通情況。
我認為，既然辦公廳是服務機構，就無權向下麵發政策性文件。後來，“四清”運動中，少奇同誌為了及時指導運動，常常要批轉一些材料供各地、各部門參考。按照規定，以《中共中央文件》形式印發，要經過中央常委傳閱同意，為了不過多地打擾各常委和爭取時間，少奇同誌就提出一個變通辦法，用《中央辦公廳文件》形式發出，從此開創了中央辦公廳向全黨發文的先例，這種做法一直沿襲至今。
那時占用我很大精力的有這麼幾件事：一是同各省、市、自治區黨委聯係，就是所謂“通氣”。國際、國內發生了什麼重大情況，對某一問題中央有些什麼考慮，地方同誌有些什麼想法，都要由我同各省、市、自治區的同誌一一通話。五六十年代的通信手段十分落後，接通一個電話要很長時間，而且聲音也不清晰。遇有“通氣”任務，一般是每天提出一批省、市名單，讓中南海總機長途台去接，長途台根據線路情況，哪個省、市先接通就同哪個省、市先講。20幾個省、市、自治區打一遍，要用兩三天時間。地方同誌也常常打電話來，向我摸中央的“氣候”。二是協調同條條、塊塊之間的關係。比如一個部門送來請求中央批複的報告，報告中提出的意見成熟不成熟，如果需要提交中央會議討論，還要作哪些進一步的準備；涉及幾個部門或地區的問題，還要再聽聽有關部門和地區的意見。三是做人的思想工作，特別是特殊人物的工作，大多是毛澤東親自交辦的。比如王明，廬山會議後還有彭德懷、黃克誠、張聞天這些受錯誤批判的同誌。毛澤東要我同他們本人保持經常的聯係；彭德懷的夫人浦安修、張聞天的夫人劉英也經常找我談話，一談往往幾個鍾頭。