1950年2月，為了適應建國後中央一級黨政軍機構逐步健全、革命和建設事業不斷發展的新形勢，中共中央決定，改變過去戰爭時期黨中央和中央軍委直屬機關統一建立中軍直機關黨委的體製，組建新的中共中央直屬機關委員會，直接領導中共中央各直屬機關和各人民團體的全國機關黨的工作，任命中央辦公廳主任楊尚昆兼任中直機關黨委（臨時）書記。以後，楊尚昆在中直機關曆次黨的代表大會上，連續6屆當選為書記，直到1961年11月，長達12年之久。1965年9月，中直機關黨委被撤銷，這時距免去楊尚昆的中央辦公廳主任職務隻有兩個月。
20世紀90年代，楊尚昆為撰寫回憶錄，同中辦一些老同誌共憶往事，自然地也回憶起他兼任中直機關黨委書記這一段的主要情況。
長期擔任中直機關黨委書記
中直機關臨時黨委初建時，隻設一個書記，不設副書記，黨委機關隻設一個綜合性的辦公室承辦日常事務，許多問題都要書記親自處理，作為中央副秘書長、中央辦公廳主任又兼中直機關黨委書記的楊尚昆工作十分繁忙。後來，中直機關黨委副書記劉火時常講起這一時期的工作情況，他說：“我們每天上午、下午上兩個班，楊主任每天要上三個班，經常工作到淩晨。”“那時我們起草文稿，他和我們邊討論邊修改，有時幾經修改還不滿意，他就自己動手重新起草。”1951年9月，中共中央直屬機關第一次代表大會，正式選舉中直機關第一屆黨委，楊尚昆為書記，曾三、鄧典桃為副書記。此後，在第二、第三、第四、第五、第六次中直黨的代表大會上楊尚昆都當選為中直機關黨委書記（按照八大黨章規定，第六屆中直機關黨委設書記處，楊尚昆為黨委第一書記）。十餘年中，中直機關黨組織不斷壯大，黨的工作不斷發展，黨委機關建設逐步健全，楊尚昆功不可沒。但是，他兼任中直機關黨委書記同他任中央辦公廳主任一樣，曆盡坎坷。
20世紀50年代中期，在整風反右運動中，毛澤東認為中直機關黨委在領導秘書室的運動中犯了“扶右反左、插黑旗”的路線錯誤，稱之為“黑旗事件”。中直機關黨委第一書記楊尚昆，書記曾三、劉華峰都受到了批評或處分。“黑旗事件”後，楊尚昆雖然不再兼任中直機關黨委書記，但是作為中央書記處候補書記仍然要指導中直機關和中央國家機關兩個黨委的工作。1965年秋，根據毛澤東的意見，中直機關黨委被撤銷。不久，“文化大革命”開始，原中直機關黨委的幹部絕大多數被編入中央辦公廳的“學習班”參加“鬥批改”，“揭批”楊尚昆去了，後來又下放到中央辦公廳五七幹校勞動改造。
十一屆三中全會以後，中央決定恢複中直機關黨委。1980年2月9日，中央辦公廳第一副主任馮文彬在中直機關代表會議上代表中央為原中直機關黨委平反，鄭重宣布：“原中直黨委多年來執行的路線是正確的，中直黨委逐步形成的一套工作製度、工作方法、工作作風都是好的，中直黨委的領導成員和機關黨委幹部的絕大多數是好的和比較好的，他們做了大量工作，雖有缺點和錯誤，但成績是主要的。在‘文化大革命’初期，林彪、康生、江青等人誣蔑中直黨委是‘爛攤子’，‘做了許多壞事’，純屬誣蔑不實之詞，應予徹底平反，恢複名譽。”
大力提高幹部政治、文化素質
那個時候，中直機關黨委除了日常黨建、黨務工作外，主要抓兩件事：組織幹部學習和指導政治運動。
建國前後，黨組織發展很快，新黨員大約占了黨員總數的一半左右。同時，黨從農村進入城市，一下子變成了執政黨。在新形勢下，組織黨員、幹部學習，提高他們的政治、文化素質無疑是頭等重要的大事。黨委根據中直機關的特點，區分不同對象，組織他們學習不同的課程。對於文化程度較低的同誌，強調以補習文化為主，有的單位建立了比較正規的文化學校，如中央辦公廳機要處就辦了一個中學，機要處處長李質忠請了他的老鄉陳伯達為名譽校長。這位校長還真的去機要處和學員們見了麵，勉勵大家好好學習，可惜他那濃重的福建口音很多人沒有聽懂。對於新參加工作、文化程度比較高的同誌，則針對他們革命熱情高，但是在工作中往往好高騖遠、脫離實際的特點，組織他們學習中國革命問題，幫助他們學會考慮一切問題必須從中國的實際出發，正確理解黨的路線、方針、政策。對於有一定實際工作經驗的同誌，則以學習理論為主，第一個五年計劃開始後，主要學習《聯共（布）黨史簡明教程》有關社會主義經濟建設問題的各章；以後又學習蘇聯科學院編寫的《政治經濟學教科書》（第三版）等。中直黨委充分發揮中央機關特有的人才優勢，無論文化課、理論課都聘請在學術上有一定造詣的同誌擔任教員，如葉蠖生、王惠德講中國革命問題，很受學員們的歡迎；田家英講中國曆史，旁征博引，趣味盎然，他在香山風雨操場講課，常常吸引很多過路人駐足旁聽。1951年《毛澤東選集》第一卷出版，以後第二、第三卷也相繼出版；還有其他黨和國家的重要文獻如《過渡時期總路線》、《憲法》等，中直機關黨委都花費了很大的精力組織學習。