這樣第一次討論山東問題的會議由於中國人自己要求而草率地結束了。
1月28日，又開了“五人會議”，這次中方做了比較充分的準備，中日雙方展開了唇槍舌戰，王正廷從山東的曆史、地理、文化各方麵說明：“膠州租借地，膠州鐵路及其他一切權利，應直接交還中國，青島完全為中國領土，當不容有絲毫損失。”日本堅持“中日兩國已有交換膠州灣”之約，克裏·孟梭他們聽到這都暗暗搖頭，日本這個論據太蒼白無力了。果然顧維鈞抓住這句話，給予反攻。他說：“眾所周知，無論灣約、中約，中國都是被迫而定的，而且那隻是一種臨時辦法。如果你們把強扭的瓜硬說成是甜的，那就是強詞奪理了。”日本代表的臉青一陣，白一陣，美國卻在心裏拍手稱快。
日政府聽說了會議的情形，大發雷霆，訓斥代表團無能。要代表團馬上想出辦法對付顧維鈞和王正廷。
日代表也小嚐了王、顧的厲害，因此，對他兩個早視為眼中釘，肉中刺。這天是元旦，駐京日使館小幡氏正要洗澡，但發現停水了，一問才知是節日休沐。“機會來了。”小幡氏暗道，他來到段公館，直找段祺瑞，提出嚴重抗議。段祺瑞心裏揣摩著，這麼件小事，小幡氏不可能親自來我這，看樣子來者不善，果然，緊接著小幡氏就說：“貴國最近一直為難我們，不知出於什麼原因，貴國的顧維鈞、王正廷在會議上說了許多傷和氣的話，我想這有傷我們兩國的友誼，請貴國思量一下撤換他們二人。”段祺瑞心裏想著：“果然是黃鼠狼給雞拜年，出口就致命啊！”但嘴上卻說：“請千萬不要誤會，我們是親密的友鄰，我們會考慮撤換顧維鈞和王正廷的。”事後段祺瑞下令：顧維鈞、王正廷二人有傷中日兩國親誼，撤換。消息發出後，段公館一天之內收到一千多封抗議書，反對段的這一決定，有的甚至直接罵他為“賣國賊”。麵對強大的輿論壓力，段祺瑞隻得收回呈令。2月10日，北京政府發表聲明，說：“中日兩國現正謀親善之實現，更不該有任何誤解，盼望我兩國代表在巴黎議場中，勿再生何等之誤會。”
當時中方代表中陸征祥因為回避日本問題，已經稱病去了瑞士，所以主要代表就剩下顧維鈞和王正廷了，當他們收到政府的這個“命令”時，氣憤得流下了眼淚，兩人對著喝悶酒，顧維鈞年少氣盛，大聲說：“既然政府都說這是誤會，我們還在這拚死拚活的幹什麼？！把地都給了人家，讓他徐世昌成光杆司令，看他還談什麼誤會！”說完不禁趴在桌子上，失聲痛哭起來，王正廷難過地看著顧維鈞說：“現在在這我們勢單力薄，政府不支持我們，而且英法美日又同流合汙，這路可真是不好走啊！”兩人相對無言。這時，敲門聲起，衛兵送進來幾大捆信，足有上千封，兩人打開一看，原來全是中國各界郵來鼓勵和支持他們的，有一封信寫道：“你們是民族的英雄，中國人民感謝你們，期待你們的好消息。”顧維鈞再一次眼睛濕潤，說：“並不隻我們兩個人，還有人民！”他倆對視了一眼，幾乎同時重重地點了一下頭。