王炳南是個極富感情的人，他於同誌情之外，還需要另一種情感。1976年“四人幫”粉碎後，王炳南與他相識近半個世紀的老戰友潘自力（八屆中央委員、前中國駐蘇聯大使，1972年被迫害致死）的遺孀姚淑賢結為伉儷。用他自己的話說，是“年紀大了，找個可以說話的伴兒吧”。
姚淑賢則說“做夢也沒想到後半輩子和早已認識的王炳南生活在一起。”
王、姚兩人的結合在北京的老幹部層中一時傳為佳話。姚淑賢是三十年代就參加革命工作的一位老戰士，“文化大革命”中曆盡艱辛。她與王結合真是珠聯璧合。老倆口在一起並非像青年夫婦那樣纏綿、浪漫，更多的時間是姚淑賢默默地照料王炳南的生活和身體。
特別是在王炳南幾次病重，孩子們又都在國外上學讀書時，姚淑賢承擔起全部責任和義務。她每天為王炳南洗衣服、買菜、做飯、打掃房間，很長一個時期，姚淑賢每天要徒步去醫院給王炳南送飯並安慰他。
“文革”期間，在那間冷陰潮濕、空氣齷齪的地下室裏，王炳南一關就被關了一年多。1969年，在林彪所謂的“一號命令”下，他又被押送到江西“五七”幹校實行監督勞動改造。在幹校，無論是勞動、吃飯，還是住宿、反省，都不能與其他人在一起，他一直被兩名造反派看管著。他甚至連自己的名字也不能保留，被迫改名為“王浮”。如此幾年，精神與肉體的雙重折磨，使王炳南心力不濟，猝然蒼老了。
1970年，王炳南才被允許回京探親訪友。因為不是被調回工作，這位外交部副部長沒有北京戶口，沒有工作，甚至沒有住房。原先，他一直住在北京東城史家胡同一所四合院裏，後來也被勒令搬家，一家八口人擠進建國門附近一個小單元房內，隻好按性別分配住房，老頭子住一間，四個兒子住一間，媳婦和兩個孫子住一間。
縱然身處困境疾病纏身，王炳南也依舊保持著豪爽健談的灑脫心態、樂觀向上的外交家氣質。他的日記裏當時寫了這樣一首詩：《卜算子·詠梅》：
疏枝立寒窗，笑在飛花前，怎奈笑容難為久，春來反凋殘。
殘因不勝殘，何須自尋煩，花謝必有花開時，需其待來年。
也許是因為當時缺個老伴的緣故吧，王炳南的小屋裏擺滿了日常生活用品，雜亂不堪。但有一個普通的小櫥櫃卻十分幹淨，上麵隻放有一個大鏡框，十分顯眼。擺在裏麵的是張建國初期周恩來與王炳南並肩而立的合影照片，兩人都氣宇軒昂，神采奕奕。這個相框放在擁擠雜亂的小屋中顯得極不協調，但在那個年代，它又像一件奇珍異寶熠熠發亮，令小屋滿堂生輝。
3.晚霞與遺言
1975年，鄧小平主持中央工作時期，王炳南才算正式從江西幹校回到北京，被分配到對外友協工作。然而，1976年“批鄧反擊右傾翻案風”時，他因在一次“批判會”上講了幾句鄧小平的好話，再度受到衝擊。情況很不妙，幸而當時是中央副主席的葉劍英元帥專門為他題贈詩作《遠望》，在《人民日報》上公開發表，才使他得以解圍。不幸的是，過分的刺激、緊張和勞累，使他身體每況愈下，終因患心髒“心房纖顫”，住進了醫院。
病愈出院後，王炳南又以百倍的精力和熱情投入到工作中去。從1975到1986整整12年，王炳南擔任了中國人民對外友好協會會長、黨組書記。他親自接待了上百個官方和各方麵人士組成的代表團，又組織許多團體出國訪問，足跡遍至五大洲四十多個國家和地區。為表彰他對各國人民友好往來所做的工作，盧森堡大公國、波蘭政府、奧地利維也納市長都曾授予他勳章。