國家領導人出訪的安全保障，主要依靠公安部和調查部，我的任務是組織、協調各方麵力量，督促檢查，確保萬無一失。五六十年代，我國領導人出訪不多，但是當時國際環境惡劣，敵情十分複雜，一遇有領導人出訪，我們的工作就成倍增加，忙得真可謂宵衣旰食。最緊張的情況有兩次：一次是1955年4月，周恩來率中國代表團出席亞非會議，事先我們得到蔣特擬加害周恩來的情報，為此，我們已經采取了某些措施。不幸的是，4月11日，我國向印度租用的克什米爾公主號專機在香港被蔣特秘密安裝了炸彈，飛至加裏曼丹島上空時爆炸失事，乘坐這架飛機的中國代表團工作人員和記者石誌昂等八位同誌壯烈殉職。這一事件發生後，如何確保周恩來一行的絕對安全，圓滿完成原定任務；還要考慮如何通過外交途徑同印、英當局進行交涉，要求他們徹底查明情況，嚴懲凶犯。內外兩條戰線，實在忙得不亦樂乎。直到4月29日，周恩來從印尼返抵昆明，我才稍稍鬆了一口氣。另一次是1963年4月，劉少奇、陳毅出訪印尼、緬甸、柬埔寨和越南。這一次，主要是柬埔寨敵情複雜。根據我駐柬大使陳叔亮報告的嚴重情況，我們本來已建議劉、陳推遲訪柬，4月23日正在緬甸的劉、陳也回電同意推遲訪柬。與此同時，我們請陳叔亮大使會見柬國家元首西哈努克親王，向他通報了我們掌握的敵情，希望他采取有力措施，並轉達了劉、陳推遲訪柬的意向。4月24日，陳叔亮報來會見西哈努克的情況，西哈努克允諾采取必要措施。在形勢變得對我們有利的情況下，當即以周恩來、彭真、我和孔原的名義致電劉少奇、陳毅，提出不定期地推遲對柬訪問，政治上不利，在柬方正在對安全問題采取必要措施的情況下，我們擬向西哈努克提出：一、仍按原計劃訪柬；二、縮小或取消群眾場麵；三、減少或取消外地的訪問，以便兩國元首能更多地交換意見；四、提前訪問日期。4月25日，我同孔原再次致電劉、陳，告毛澤東認為訪柬仍應按原計劃進行；並告周恩來決定派熟悉柬情況的前駐柬大使王幼平以我外交部顧問名義，作為劉、陳訪柬的隨員，先去金邊，指揮我使館與柬方落實安全保衛工作。4月29日，得悉敵特陰謀在柬加害我領導人一案（代號“湘江案”）已大體偵破，形勢進一步好轉。5月1日至5日，劉少奇、陳毅順利地訪問了柬埔寨。
在工作中，我同李克農建立了深厚的友誼。1961年1月，他的夫人趙瑛去世，我出席追悼會並致悼詞。同年7月，我去看望病中的他，他對我談了很多問題。大約半個月以後，他給我寫信，建議由他主編一部《黨的特科鬥爭史》。他在信中說，我因病休養已近四年，最近醫生已同意我逐步進入工作。現將我擬做的工作報告如下，請你和安子文部長、羅瑞卿總長二同誌商決批準。信中說，他擬將黨中央特別委員會（特科）鬥爭曆史，盡可能加以搜集，彙編成冊，以利於中組部和軍委參考，同時也可以讓過去在鬥爭中的無名英雄死有所安，老有所歸，幼有所寄，鰥寡孤獨，各得其所。這個建議得到了中央的批準。盡管那時他疾病纏身，仍不知疲倦地堅持工作。1962年1月擴大的中央工作會議（七千人大會），他勉強參加到閉幕的前一天（2月6日），實在無法堅持下去了，3天以後，2月9日，他走了。遺憾的是，那時我也病倒了，竟沒能見上最後一麵。至今我還珍藏著他從開城、日內瓦給我的來信，作為紀念。
有些工作本來是有專業部門歸口的，卻也讓我參與。比如公安工作是毛澤東直接過問的，但是每次開公安工作會議，羅瑞卿總是拉我去講話。如果說，保證中央領導同誌的安全是我分內之事，與公安部保持聯係也屬於題中應有之義，那麼，中蘇兩黨之間的聯係，應歸口中央聯絡部，涉及中蘇兩國之間的問題，應由外交部處理，但那時卻把這項工作放到了中央辦公廳。為此，中央辦公廳成立了一個隻有四個人的翻譯組，由我直接領導。在我的辦公室裏還安裝了一部直通蘇共中央和蘇聯駐華大使館的熱線電話，不管大事小事，蘇聯駐華大使契爾沃年科總是先找我。
又比如，1962年，中央決定成立精簡領導小組，讓我當組長。要求精減城市人口2000萬，這本來是勞動部門的事，結果也落在我的頭上。精減城市人口是具體貫徹落實“調整、鞏固、充實、提高”調整國民經濟八字方針的頭等大事，是我們黨在當時的嚴峻形勢下被迫作出的非常決策。