60年代初期，我國在國際上的處境急轉直下。這時，我國既與美國嚴重對立，又與蘇共發生矛盾，同時又與印度發生了邊界衝突，世界上許多國家對我國產生了疑懼和不滿，在國際上處於“四麵受敵”的境地，連台灣的蔣介石集團也企圖趁機“反攻”大陸。王稼祥對我國麵臨的形勢感到嚴重不安，不斷在尋求著解脫困難之法。
1962年2月，王稼祥在研究了大量國際國內情況的資料，經過反複思考，又與不少同誌交換了意見之後，決定就我國的對外政策問題，向黨提出一些建議。他采取了個人寫信的方法向周總理提出了自己的看法和意見，供參考和研究。
王稼祥的意見，概括起來就是：第一，對外采取緩和的方針，以爭取時間渡過困難。第二，建議發表一個正式的對外關係聲明，全麵準確地反映我國的對外政策。第三，注意國際鬥爭的策略。第四，對外援助要“實事求是、量力而行”。
在王稼祥向黨獻出自己的赤膽忠心之後，康生卻悄悄從中抓住了可乘之機。
善於鑽營，聞風而動的康生，60年代初期搖身一變，成為一個神氣活現的“反修鬥士”。他借機進行國際反修鬥爭不斷插手中聯部的工作，力圖在黨的對外聯絡工作中，推行他那“左”的一套。
康生曾多次向中聯部要機密的外事文件資料看，而他要看的這些文件，都是黨的最高機密，未經毛澤東和周恩來等主要領導人的批準，不得向其他任何部門或個人透露。王稼祥按照這一規定答複了康生，拒絕了他的非分要求。
本來就與王稼祥有矛盾的康生，這下更被惹惱了，他不斷在暗地裏散布謠言，挑動中聯部某些人對王稼祥的不滿。有人說：“康老這樣德高望重的領導同誌，看看中聯部的文件總可以吧！”“王部長做得也太狠了，聽說康老去王家，他們連茶也不給倒……”
實際上康生已經把王稼祥視為自己推行反動主張的主要絆腳石，一直盤算著怎樣除掉他了。王稼祥給周恩來的信正好給了他一個絕好的機會。
在王稼祥給周恩來的信發出去以後，中聯部的一些同誌在參加國際活動中，發生了鬥爭策略上的偏差，受到了毛主席的批評。康生從中一下撈到了稻草，到處煽風點火，說中聯部之所以犯這樣的錯誤，都是王稼祥推行自己右傾機會主義外交路線的結果，王稼祥給周總理的信就很明顯地表明了這一點。那封信的要害就是提出了“三和一少”的修正主義。所謂“三和一少”按照生的解釋就是對帝國主義、現代修正主義、各國反動派要和，對各國革命運動的支援要少。在中央的有關會議上，王稼祥的意見被定性為“修正主義外交路線”。康生又挑唆王力等人反對王稼祥，並迫使王稼祥到中央的大會上作檢討。
毛澤東知道此事後，對王稼祥說：“這個問題不要搞到中央的大會上來，既然你們部裏有同誌對你有意見，你就在那些有意見的同誌中間，小範圍地開個會，談談好了。”
由於國內鬥爭形勢越來越複雜，王稼祥的身體也越來越差，加之康生之流不斷興風作浪和破壞搗亂，從1963年起，王稼祥實際上在中聯部已被奪了權，許多工作都無法過問，最後終於被康生完全擠出了中聯部的領導崗位。
3.毛澤東、周恩來的特別關懷
1966年，一場史無前例的大悲劇在神州大地上鳴鑼開場了。
多年的黨內鬥爭經曆告訴王稼祥，這場運動，必然波及和影響黨和國家的各個方麵。尤其使他不安的是當前正在興風作浪的，就是早有野心、極不正派的康生、江青以及林彪之流。由於自己一直與這些人格格不入，他們早就將自己視為眼中釘，隨著運動的發展，他們一定會趁機對自己下手。
一天夜裏，懷仁堂裏燈火通明，台上正在演一場“樣板戲”。周總理坐在朱仲麗的身後。
看戲中間，周總理問朱仲麗道：
“稼祥同誌的身體好些了嗎？”
“最近好些了，謝謝您的關心，總理！”
“那請你告訴他，最近我要去看看他。”
“總理，您很忙，就讓他去你家吧。”
“不，不，我上你那裏去！”總理決定了。
一天晚飯後，周總理果然來了。
“是毛主席叫我來看你的。”總理握著王稼祥的手說道。
“你的革命一生是功大於過的，毛主席讓你繼續做一些工作。”周總理對王稼祥說，“在曆史上你比我更早地支持毛主席。”
“哪裏，我也犯了不少錯誤，特別是第三次‘左’傾錯誤時期。”王稼祥誠摯地回答道。
這次談話持續了三、四個小時，直到深夜總理才起身離去。談話中總理轉達了主席的意見，由王稼祥擔任中央外事組第一副組長，重新開始工作。
然而沒隔多久，王稼祥的預感就應驗了。夏日的一天中午，兩位政治局委員來到王稼祥家，客氣地通知他，中央決定凡不直接參加中央重要工作的領導人員，一律搬出中南海。彭德懷早就搬走了，兩個星期前，楊尚昆、陸定一也搬走了，今天又輪到王稼祥了。
“要有精神準備，要做最壞的打算！”王稼祥長歎了一口氣，對妻子說道。
隨之而來的是鋪天蓋地的大字報。
“反革命修正主義分子……”