“四清運動”中再一次明確工會的性質
“四清”運動後期，1965年1月，指導運動的綱領性文件《二十三條》公布後，全總也提出工會工作要“以階級鬥爭為綱，以社會主義和資本主義兩條道路鬥爭為綱”。在某些進行了“四清”的地方，甚至出現建立“革命工人協會”、“革命工人委員會”代替工會的現象；還有的地方提出要將工會的某些具體業務交給有關行政部門管理等問題。工會工作又一次麵臨“消亡”的危險。7月3日、26日，楊尚昆兩次聽取了全總黨組的彙報並做了原則指示。28日，全總召開省市自治區工會主席座談會。座談會期間，8月9日，中央書記處及時地討論了工會工作，明確指出工會要做切切實實的群眾工作，發揮群眾監督作用，克服官僚主義。再一次明確工會“作為工人階級的群眾組織的性質沒有變，由此而規定的群眾工作任務沒有變”。重申工會組織群眾監督的重要意義，第一次明確規定把企業的職工代表大會和工會工作結合起來，工會委員會要成為職工代表大會的常設機構，經常發動和組織群眾監督幹部、監督企業工作，正確貫徹執行黨的方針政策。15日，楊尚昆到全總作報告，闡述中央書記處的指示精神。9月8日，中央批轉了傳達中央這一精神的《全總黨組關於省、市、自治區工會主席座談會情況的報告》。可惜的是，中央的精神未及貫徹執行，一場更大的災難，“文化大革命”的風暴已經降臨。
“四清”運動中，一些地方為了純潔組織，把家庭出身不好，表現落後或犯有一般錯誤的工會會員，降為“預備會員”，有的還開除了他們的工會會員資格。中央書記處及時製止了這種做法。指出工會是工人階級的群眾組織，不能套用黨和共青團實行預備黨、團員製度。對少數表現不好的職工，工會應當加強對他們的教育。
不久，“文化大革命”爆發，一場災難不可避免地先後降臨在工會、共青團、婦聯的頭上。首先是共青團。由於毛澤東的支持，“紅衛兵”運動狂熱發展，共青團被迫停止活動；接著，有雄厚經濟實力的全總，資金被凍結，金庫封存。工會內部也亂揪亂鬥，從全總到各地基層工會全部陷於癱瘓；最後是全國婦聯，艱難地維持了一段時間，到1968年初也完全停止了活動。直到“文化大革命”後期，工會、共青團、婦聯才逐步恢複活動。1978年9月，中國婦女第四次全國代表大會；10月，中國工會第九次全國代表大會和共青團第十次全國代表大會相繼召開，標誌著三個群眾組織正式開展工作。盡管這時黨的十一屆三中全會還未召開，“文化大革命”還沒有被徹底否定，思想上、理論上的撥亂反正剛剛起步，但畢竟工、青、婦的工作開始恢複了。
“文化大革命”中，工、青、婦真的“消亡”了，但最後被徹底否定的是“文化大革命”。“文化大革命”的曆史不會重演，工會、共青團、婦聯當然也不會消亡。
被免去中辦主任以後
1945年10月至1965年11月，楊尚昆在中央辦公廳主任的崗位上幹了20年。楊尚昆曾說：“中央辦公廳是中央的辦事機構，掌握黨的全部機密，把我放在這個位子上，體現了毛澤東對我的信任。”然而，1965年11月10日，楊尚昆突然被免去中辦主任職務。同一天，上海《文彙報》發表了姚文元的《評新編曆史劇海瑞罷官》一文，“文化大革命”拉開序幕，中辦首當其衝，楊尚昆成為第一個“犧牲品”。
突遭撤職
楊尚昆自1945年10月接替李富春擔任中央書記處辦公廳主任，在中辦主任崗位上默默耕耘了20載。如楊尚昆所說：“一個幹部固定在一個崗位上這麼久是罕見的，對我個人來說，這20年也是一生中最重要的時期，從38歲到58歲，正是精力旺盛，多少也積累了一點經驗，是幹工作的最好時期。”
在任中辦主任20年中，楊尚昆也曾幾次向毛澤東提出調換工作問題。如1958年中辦秘書室“黑旗事件”（所謂“黑旗事件”，指1957年至1958年中辦秘書室在整風反右運動中，圍繞該室負責人應否劃為右派問題發生了爭論。江青出於不可告人的目的，偏袒一方，把此情況反映給毛澤東，說中直機關黨委在中辦秘書室整風運動中壓製了“左派”，插了“黑旗”，故稱“黑旗事件”。在這次事件中，許多同誌受到誣陷或株連。中直機關黨委和中南海總支的一大批同誌受到黨紀處分；秘書室受黨紀處分和被定為“思想右傾”、“立場不穩”的占該室總人數的60％。為此，楊尚昆請求處分並辭去中直機關黨委書記職務，毛澤東未準。中共十一屆三中全會以後，在“黑旗事件”中受誣陷或株連的同誌全部得到平反——作者注）後，他就曾經正式向毛澤東辭職，說他在辦公廳這麼多年，工作也沒有搞好，想出去做點別的工作。毛澤東連說：“不行，不行。”毛澤東問楊尚昆：“你不當辦公廳主任，讓誰當啊?”楊尚昆向他推薦了胡喬木，毛澤東又連說：“他不行，他不行。”以後胡喬木知道了這件事，也對楊尚昆說，他當不了辦公廳主任。楊尚昆說自己實在是想脫身啊。