可以看出，在當時對立的中美關係中，任何一點接觸都是多麼敏感。但是，會議期間，美國有一樁心事要了，那就是辦理美國朝鮮戰俘和美國在華被押人員問題，美國極力想通過第三方來促成此事。
得到這個消息後，周總理連夜召集王炳南等人商量對策。周總理認為我們不應拒絕與美國接觸。在中美關係如此緊張的條件下，我們可以抓住美國急於要求在華的被押人員獲釋的願望，開辟接觸的渠道。王炳南對總理這個明智果斷的決策當場表示讚同，他派人委托“第三者”英國代辦轉告美國，有關中美雙方的問題可以由在日內瓦的中、美代表團進行直接接觸。美國同意了直接會談，在經過周密考慮後，它派出美國駐捷克斯洛伐克大使約翰遜為代表，因為他曾經參加過朝鮮停戰的板門店談判，熟悉中國情況，經驗頗豐，腦瓜也頗敏捷。總理請示中央後，指定王炳南為中方代表，宦鄉、柯柏年等同誌也協助參加談判。
6月5日，中美雙方舉行了第一次會議。會議在一間隻有幾套沙發的會客室裏進行，氣氛比較輕鬆，雙方沒有惡語相訐。老練的約翰遜提出會議時雙方不作速記記錄，這樣交談可更富有探討性，也要少一些拘束。中方同意了，並確定6月10日舉行第二次會議。
第三次會議是在6月15日。中方代表首先答複了第二次會議中美方提出的問題。中方代表說，中方同意因犯罪而扣押的美國僑民和軍事人員通過中國紅十字會與他們的家屬通信，他們的家屬也可郵寄小包裹。中國政府是按他們所犯的罪來量刑的。若表現好，可考慮減刑或提前釋放。
接著，中方代表又要求美國政府“立即停止扣留中國留學生，並恢複他們隨時離開美國返回中國的權利。至於居留在美國的中國僑民，也同樣享有隨時回國的權利。”然而，美方的態度十分頑固，它隻想在會議中得到它想得到的，因而，約翰遜拒絕了中方的建議。
後來，在7月16日和21日，雙方派聯絡員又接觸了兩次，互相審核了各自提交的名單。中方向美國提出六名已獲準出境的在華美僑的名單，美國代表對此用外交辭令表示了感謝，但他們沒有進一步提供有關在美的中國僑民和留學生的新情況，並再次拒絕了中方在前幾次會談中提到了關於第三國代管雙方僑民利益的建議。
不難看出，日內瓦會談中，由於周恩來的具體指導和王炳南等人的切實努力，中方態度是積極主動的，也通情達理地處理了一些問題，表現出中國外交鬥爭既靈活又堅持原則的特點；而美方由於政策僵硬，而且固執得不留一點餘地，常常把自己推到了被動的位置。雙方的這種態度和立場在以後的大使級會談中也一再表現出來。
王炳南把日內瓦會議上中美雙方代表的接觸、會談視為“意外的收獲”，因為它“意外地在中美之間的巨大鴻溝上架設了一座中、美官員接觸的橋梁”。這次會談是今後十五年大使級會談的前奏。這個前奏一旦開始，就連美國的“反共先鋒”杜勒斯也不願再關死大門了。中國也願意留一條門縫，以便更好地觀察美國，並在沒有正式外交途徑的情況下打開一條表達意見的通道。看好時機，掌握主動，把準分寸，這正是中國外交藝術的特色。
日內瓦走一遭，又一次與總理並肩作戰，王炳南感到自己所有的精心準備都未付諸東流，相反，他還從中感悟甚多，這次“意外的收獲”給他上了生動的一課。他在日記中寫道：“每一個外交家往往是這種情形，他很走運，但幸福離他很近地拂過去。巧妙的外交家與笨拙的外交家之間的不同點在於：前者能夠及時抓到由身邊飛過的幸運女神的衣襟，而後者則一定忽略。”