5月22日，陶鑄等人到小島招待所10號樓向楊尚昆口頭傳達5月中央政治局擴大會議精神和免去楊尚昆的廣東省委書記處書記、改任肇慶地委書記的決定。陶鑄等離開後，楊尚昆就把我和趙宇田叫去，如實傳達了中央對他的決定，並說他在中辦20年，工作沒有做好，還犯了錯誤，表示擁護中央的決定，接受中央的審查，問題總會弄清楚的。楊尚昆還說：“我想得通，做地委書記、縣委書記都可以，隻是不當一把手。”還說：“現在我要下去工作，你們就回北京吧。回去以後，中辦會找你們揭發我的錯誤，你們認為我還有哪些錯誤，如實講，不要有顧慮。”在以後的一段時間裏，楊尚昆反複講，一切相信組織，相信中央。
從這時起楊尚昆的對外聯係就被切斷了。同李伯釗和子女的電話也接不通了。馬甫倒是經常來看看楊尚昆，並要我和趙宇田照顧好楊尚昆的生活，叮囑我們不要同時外出，楊尚昆身邊要有人。
5月23日，楊尚昆給鄧小平和周恩來打電話，要求調回北方工作，電話打了半天也沒打通。無法，隻好把電話打給機要室，傳去了一段文字：“小平、總理並常委：昨日陶、趙與我談過，我擁護中央的決定。我懇請中央考慮，調換一個工作地區，無論東北、西北、華北的基層都可以。因廣東潮濕而酷熱，兩臂的關節炎日益加劇，右手已抬不起來，治療也無效，20天來每天中午發燒37.4℃，食欲不振，體重還在下降，懇切要求，萬望考慮賜複。”
5月24日，中央發出《關於陸定一同誌和楊尚昆同誌錯誤問題的說明》（中發［66］277號文件）。關於楊尚昆的問題，文件說：“楊尚昆同誌的主要錯誤如下：（一）他不顧中央多次關於禁止安裝竊聽器的決定，背著中央，私設竊聽器，私錄毛主席和常委同誌的講話，盜竊黨的機密。（二）他把大量的機密的文件和檔案擅自提供給別人抄錄，嚴重地泄露黨的核心機密。（三）他同羅瑞卿等人的關係極不正常，積極參加了反黨活動。（四）他還有其他的嚴重錯誤。”
但楊尚昆的要求，還是得到鄧小平和周恩來的支持。5月28日，陶鑄來到小島招待所10號樓告訴楊尚昆中央已決定讓他去山西，任臨汾地委書記處書記。5月30日，由馬甫護送，楊尚昆乘火車經石家莊於6月2日到達太原，住太原飯店西樓。
在太原，楊尚昆感慨地說，人的一生有幾個20年?頂多四個吧，何況還不一定能活到80歲。第一個20年，糊裏糊塗過來了；第二個20年參加革命，變化很大；第三個20年，小心翼翼，不求名利，還是犯了錯誤；第四個20年，從頭開始，盡可能做點工作吧!楊尚昆在太原閑住了一個月，多次要求早些下去工作，但都被婉言拒絕。後來實在無法，於6月23日安排了一次彙報來敷衍，由省農辦的同誌介紹山西的農業情況。
7月3日，楊尚昆上午去晉祠散步，忽傳來電話說省委領導要來談話，下午不要走開。中午l時許，我午睡正酣，突然被車聲驚醒，發現此時太原飯店院內已軍警林立，如臨大敵，楊尚昆不知去向。山西省委副秘書長歐陽景榮跑到我的屋裏，還有兩個不知什麼人，同我和趙宇田談話，說楊尚昆犯了錯誤，你們要和他劃清界限等等。隨即把我們帶到一個地方，歐陽景榮走了，那兩個人留了下來，和我們形影不離，過了一夜，又一同登上火車，7月5日晨到達北京。第二天，我們就被安排到“學習班”參加運動揭批楊尚昆去了。後來才知道，7月3日那天，楊尚昆被轉移到另一個地方，從此開始了長達9年的“監護審查”。