告別小曼後，王賡當過孫傳芳的五省聯軍總部參謀長，也當過北伐軍第四集團軍敵前炮兵司令、鐵甲軍司令，北伐大成後，他調任淮北做國民政府的鹽務緝私局局長。1930年，宋子文組建稅警團，以鎮壓抗稅和漏稅，該團直屬財政部，隻聽宋子文調遣，各類配備一流，西點軍校出身、文武雙全的王賡成了不二人選。同在上海，王賡忘不了小曼，但她已為人婦，王賡也無可奈何。小曼是紅杏枝頭春意鬧，王賡也隻是從牆邊遠遠望去的路人。1931年11月19日，誌摩因為飛機失事在濟南白馬山去世。小曼悲慟欲絕，又恨又悔，人生猛然跌至穀底。少數人安慰，多數人唾罵，誌摩的死在好事者眼裏，等於坐實了小曼是“紅顏禍水”之說。現夫已死，身為前夫，王賡免不了認為自己有責任安慰小曼。他走到小曼家中去，看見小曼臥床不起，屋內窗簾深垂，死氣沉沉。他趕忙拉開窗簾，對人說，把房間搞得這麼暗，不通氣，沒病的人也要生病的。他見小曼在昏睡，便沒有打擾，坐了一會兒就走了。
1932年1月28日夜間，日軍突襲上海閘北地區，淞滬戰爭爆發。國仇家恨，宛如滔天巨浪，讓上海灘震蕩不已。1932年春節剛過，正月二十一，王賡騎著一輛摩托車，穿過外白渡橋，入公共租界，不幸被捕。一並被捕獲的，據說還有王賡隨身帶著的一個公文包。第二天，上海市政府向南京政府外交部報告說:“王賡於感(27)日，因事路經黃浦路，為日方海軍士兵追捕，該旅長避入禮查飯店，後為工部局巡捕幫同扭送捕房，由捕頭交與日方帶去自由處置……”當時有小報稱，王賡去公共租界，是為幽會陸小曼。關於此事，小曼1961年撰文澄清，王賡當時並不是去找她，而是去見美國駐滬領事館的西點軍校同學。也有一說是，王賡被抓後向日軍獻了地圖，對淞滬之戰產生了不好的影響。這些言論終不可考。但結局已經寫好，王賡因為“可疑”，被敵我雙方反複審問，同時遭致社會輿論的譴責，幾經拉鋸，最終被判了兩年零六個月的有期徒刑。
王賡對小曼，始終是舊情難忘，小曼母親也始終對王賡抱以好感，陸母與王賡一直保有過從。誌摩去世，或許陸母有心思再度撮合小曼與王賡，但王賡鋃鐺入獄，無疑讓這個希望成為泡影。1935年，王賡出獄，身體大恙，不得不去德國治腎病。仕途就此跌落，一蹶不振，而他當年的副手，卻青雲直上，成為抗日名將。誌摩去世後，小曼的世界萬籟俱寂，她編誌摩的稿子，去硤石給誌摩掃墓，力圖彌補無可挽回的遺憾與損失。誌摩在的時候，小曼三心兩意，與其爭吵不斷，浮華天地，安不下一縷單純的詩魂，誌摩去世以後，反倒在小曼的世界裏無限放大，占滿了小曼的一整顆心。