據張幼儀回憶，小曼與誌摩是在1924年的夏天相遇的，恰巧在這一年，王賡接到一紙調令，要北上哈爾濱，擔任警察局局長，小曼隨夫北上。跟小曼在一起，王賡的壓力，可想而知。小曼是真真正正的嬌妻，需要一個金屋來藏，而王賡沒有。哈爾濱相對枯寂的社交生活，也讓小曼不能忍受。小曼心裏還藏著一個秘密，那就是，她想要見誌摩。小曼要回北平，王賡沒有阻攔。在感情上，王賡追求平平淡淡，息事寧人，小曼卻追求轟轟烈烈。王賡要“明月鬆間照”，小曼卻沒有“清泉石上流”。小曼對王賡，是“敬重有餘，愛情不足”，她更多地把他當做一個大哥哥。王賡成熟的中年氣質，讓小曼感到隔膜，她年輕、漂亮，需要滿滿的愛、五光十色的生活，她在心理上還是個小女孩，但王賡的心態，卻已然中年。兩人無法對接。
誌摩來了。來到了王家。王賡依舊無感，毫無覺察，他要工作，很繁忙，他隻說:小曼，要不讓誌摩陪你玩吧?誌摩和小曼便出去了，遊山玩水，喝茶看戲，跳舞逛街，像所有熱戀中的人。王賡非但不介懷，還感到一種解脫。哦，小曼終於不纏著自己了。小曼之於王賡，與其說是一個妻子，不如說更像一個任性的小妹妹。王賡是那片海，小曼是鬧海的小龍，隻要小曼不鬧，王賡就心滿意足了。某種意義上，王賡和張幼儀相似。他們一個嫁，一個娶，跟文化圈內人結為連理，卻無可奈何地卷進了一場桃色糾紛。
王賡非常得體。即便是小曼和誌摩的戀愛鬧得滿城風雨時，他也沒有失去理智。張幼儀在回憶中提及，王賡當時要“殺”誌摩。想來沒那麼嚴重，但一時的氣憤，定然是有，畢竟血氣方剛，又是軍人出身，哪裏受得了此等“流言”鋪天蓋地。王賡一向寡言，他能說什麼呢?自打回國後，他便似乎已經漸漸失去對自我人生的掌控力，對王賡來說，小曼來到他身邊，不可思議，小曼發生婚外的戀愛，更加不可思議。小曼對王賡失望，王賡對小曼絕望。情場如戰場，隻可惜，縱使王賡飽學的軍法，在情感的疆場上，他終究隻是一個行動力遲緩的小卒，抵擋不住嘯風的戰馬。他隻好死死拽住丈夫這個身份，聯合一幹人等，共同挽回局麵。殺，到底不是辦法，王賡感覺到這將是場持久戰。
風言風語四起，王賡和徐誌摩都感到了前所未有的壓力。誌摩固然把戀愛當做人生最高的追求之一，但王賡不行，他還有公職，還要在場麵上行走，誌摩和小曼的“不得不見”，又逼著他作出決斷。1925年2月，徐誌摩接到泰戈爾的來信，邀請他去意大利同遊。國內的局麵一塌糊塗，胡適也建議誌摩去海外走走，避避風頭，冷靜冷靜，再做籌謀。誌摩出洋，小曼和王賡都去送行，小曼淚眼婆娑，誌摩一步三回頭，王賡就在旁邊冷冷望著。場麵尷尬至極。那感覺，好像他是一個不通人情的法官，而他們是可憐孤苦的情感罪犯。小曼不想讓王賡看見自己的淚，王賡看也不看她就說:“你哭了嗎?你心裏難受是嗎?”