但是，1965年11月中央免去楊尚昆中辦主任的職務卻又很突然。11月5日，彭真通知楊尚昆：中央決定調他去廣東工作，任廣東省委書記處書記；汪東興任中辦主任。對此，楊尚昆後來回憶說：“我雖早有預感要被撤職，但來得這麼突然，確實茫茫然。”11月8日，楊尚昆向汪東興和當時在京的中辦副主任曾三、田家英、李質忠交代了工作。次日，楊尚昆寫信給毛澤東，說自己在中辦工作了20年，沒有把工作做好，辜負了毛主席和中央同誌的期望，心情很沉重，也很慚愧，感謝毛主席和中央這次給他到實際工作中去鍛煉和改造的機會，今後一定盡自己的努力，全心全意地把黨分配的工作做好。在去廣州之前，如果毛主席有空，很希望見見主席，得到主席的批評、指示。第二天，毛澤東接見了楊尚昆。毛澤東說：“你辦公廳的工作做得不錯嘛!你有什麼錯誤?沒有錯誤。你下去工作一個時期鍛煉鍛煉好嘛。”毛澤東還給楊尚昆布置了兩個調查研究的任務：一是，看中央和國務院有什麼不適合於當地情況的政策、措施，可以寫個報告，提點意見；二是，各條條下達了一些什麼東西，同中央和國務院相矛盾的幫助理順一下。毛澤東還對楊尚昆說，廣東那麼熱，你到那裏去幹什麼?現在既然已經決定了，你去兩年到三年，把這個任務完成。先在珠江流域，以後把你調到黃河流域搞個兩三年，主要是了解黨政機關是不是按照中央精神結合本地實際來進行工作的，更主要的是條條下達的任務是不是互相打架。楊尚昆對毛澤東說，這個任務是一個很大的任務，可能完成不了，但會努力去做。從毛澤東處回來，田家英問楊尚昆和毛主席談了些什麼，楊尚昆如實告之，田家英聽後說糟糕。他對楊尚昆說，如果毛主席狠狠地罵你一頓就好了，就沒問題了。毛主席這樣敷衍你，問題就大了。那時，楊尚昆也已預感到要出事，但他萬萬沒有想到會很快在全國範圍內搞起“文化大革命”這麼一場政治風暴。所以，他對曾三說：“曾三同誌呀，這一刀砍下來先砍到我，你們也要準備挨整就是了。”11月9日，楊尚昆去周總理處談話，對周總理說：“我在中央辦公廳20年，雖然工作沒有做好，但是沒有做過反黨的事情，也沒有做過有損中央威信的事情。你是最了解我的，將來有可能被開除黨籍，如果有一天真的開除我的黨籍，我也沒有辦法，但這是冤枉的，隻要你了解我，我心裏就踏實了。”周總理要楊尚昆放心，說不會那樣，要他下去以後好好地工作，不要背什麼包袱。最後，周總理一直送楊尚昆走出西花廳，才依依惜別。但楊尚昆萬萬沒有想到，這是他最後一次同周總理會麵。
12月10日晚，楊尚昆乘坐中央警衛局為他掛的一節公務車離京赴廣州。我和趙宇田作為楊尚昆身邊工作人員隨行。搭車去廣州的有中央調查部副部長劉誌漢和周梅英、趙仲實，加上列車員王景仁、劉滿容共8人。當時，幾位中央政治局常委都到上海參加毛澤東在那裏召開的政治局常委擴大會議。楊尚昆離京時，到車站送行的隻有中央組織部李楚離、喬明甫兩位副部長和警衛局副局長田疇。中辦的同誌和其他好友由於楊尚昆事先打了招呼，不讓他們送行，所以當時的場麵異常冷清。11日晚，火車到達長沙，由於前方列車發生事故，湖南省委書記李瑞山把楊尚昆等人接到省委蓉園招待所休息。12日，楊尚昆等人到韶山參觀了毛澤東故居。當晚，正在瀏陽指導“四清”運動的湖南省委第一書記張平化趕回長沙和楊尚昆見了麵。13日下午，楊尚昆等人到達廣州，暫住廣東省委小島招待所4號樓。楊尚昆到廣州三天以後，陶鑄從上海開完政治局常委擴大會議回到廣州，從他那裏楊尚昆得知羅瑞卿出了問題。
楊尚昆後來回憶說：“毛澤東找我談話的那一天，正是上海《文彙報》發表姚文元的文章《評新編曆史劇海瑞罷官》的日子，文章實際上傳達了毛澤東準備發動一場‘文化大革命’的信號。也正是這一天，中央免去了我的中央辦公廳主任的職務。”“如此巧合!”對於被撤職的原因，楊尚昆說：“毛澤東認為我是教條主義者，又和彭德懷的關係密切，如果不撤掉我的中央辦公廳主任職務，我將成為他發動‘文化大革命’的絆腳石。所以，他首先拿我開刀。”
從廣州到太原
1965年12月楊尚昆到廣東後，沒有什麼工作可做。省委隻是給他看一些文件，說先休息幾天，慢慢熟悉情況，並沒有進行分工，安排具體工作。楊尚昆按原來設想的到廣東後各縣都要跑一遍的計劃，於12月18日即從廣州出發，先後到了海口、瓊海、興隆、崖縣（三亞）、湛江、電白、陽江、新會、江門、佛山、中山、順德、寶安（深圳）等地，重點聽取各地“四清”運動的情況彙報。1966年1月17日，楊尚昆第一次也是最後一次參加省委會議，聽取區夢覺傳達中南局會議精神。1月26日，他還參加了王震召開的海南島發展橡膠問題的會議，在會上發言指出，要幫助少數民族發展經濟，適當發展橡膠，並對橡膠管理體製提出一些意見。春節後，楊尚昆身體日漸虛弱，病痛加重，經中央批準，於1月31日離開廣州到上海，住入華東醫院。3月8日，接中辦電話，中央同意衛生部的建議，楊尚昆休息三個月。4月18日，楊尚昆與廣東省委副秘書長馬甫通電話，得知省委擬於5月5日召集地、縣委書記在從化學習毛澤東著作。他認為，這是一個好機會，不僅可以熟悉人，還可以從基層工作的同誌那裏學到很多東西，當即決定提前回廣州。4月20日，楊尚昆離開上海，經南昌，23日到達井岡山，在那裏重讀了《井岡山的鬥爭》和《中國的紅色政權為什麼能夠存在?》兩篇毛澤東著作。27日到達瑞金。5月5日回到廣州，住小島招待所10號樓。隨後得陶鑄通知：“尚昆同誌不必參加地、縣委書記會了。”19日，陶鑄在中山紀念堂作“文化大革命”動員報告，也沒有通知楊尚昆到會。