因此，杜月笙便親自奉勸敘五兄沒這必要，不要冒險自陷共區！他一再懇切挽留胡敘五，但是，胡敘五辭意頗堅，杜月笙無可奈何，又叫跟胡敘五談得來的長子維藩和萬墨林兩人從旁勸阻。
萬墨林勸駕不曾發生作用，便由杜維藩接手，他約胡敘五到外麵吃咖啡。
杜維藩直打直地和胡敘五談判，他問胡敘五：
“敘五兄，你說老板從前待你好嗎？”
“很好。”
“那麼，你是否嫌老板現任待你不如從前了？”
“我沒有這個意思。”
“敘五兄，”既然是多年交往的自家人，杜維藩便坦坦白白地說，“老板從前待你好，是因為從前的路子粗，進賬多，日子好過。現在跟從前大不相同了，現在老板在香港，一點進賬都沒有，就靠帶出來的那點錢，天長口久，坐吃山空。老板自家的日子不好過，跟他的人當然要比從前差一點，好在有粥吃粥，有飯吃飯，大家同甘苦共患難，所以我說你最好不要在這個時候離開，免得人家批評你不夠義氣。”
胡敘五並不否認杜維藩所講的話有道理，但是他去意已決，無法挽回。勸阻無效，胡敘五還是辭去了一幹十二三年的杜月笙秘書一職，他悄悄地回了上海。
機要秘書出缺，使杜月笙大傷腦筋，幸虧早年即曾在杜公館任過秘書的邱訪陌，這時也在香港，杜月笙便去請了邱訪陌來，接替胡敘五之職。但是，這一時期許多昔日的朋友和部下一個個跑回了上海，這使得病榻上的杜月笙心情總是陰霾霾的。
黃金榮一場虛驚
早先，杜月笙決心離開上海，赴港避亂之前，曾經扶疾往訪黃老板，力勸他的金榮哥預早為計，也跟他一樣，做避難香江的打算。
當時，黃老板推心置腹，向杜月笙吐露自己不得而已的苦衷，黃金榮說：
“月笙，我老了，這些年來，我跟你的境遇不同，我是能不出門便不出門，能不動頂好不動。你算算，我今年已經80歲，俗話說得好：‘人生七十古來稀’，我活到了81，就已經多活了11年，今日死或者明日死，對我並無多大的關係。”
黃金榮接下去娓娓細訴地說，自從他60歲那年正式宣告不問世事，安享餘年，他生活的目標就隻剩下每天抽幾筒大煙，上一趟澡堂泡一個浴，湊幾位牌搭子碰幾副銅旗。除此三者以外，複無他求，也非有此三項享受而不歡。因此，他堆滿一臉苦笑訴與杜月笙：
“月笙，你替我想想，假使我去了香港，頭一樣，差館裏發現我抽大煙要捉。第二樣，你叫我到哪裏去找碰銅旗的搭子？第三樣，香港沒有澡堂，能否容我這80多歲的人每天去泡趟浴，都是問題。何況，樹高十丈，葉落歸根，我已風燭殘年，能有幾年好活？好歹我也死在家鄉。”
杜月笙聽他金榮哥說得如此剴切透澈，心知其意己決，也就不再勸了，卻是辭出來時，突然感到這便是最後的訣別，他忍不住灑了兩行熱淚。
到香港堅尼地18號定居，他第一次聽到金榮哥的消息，上海來人說得繪聲繪影，言之鑿鑿：
上海淪陷前夕，黃老板惟恐炮火殃及，自曹河涇黃家花園遷居鈞培裏老宅，逐日泡浴、碰銅旗、噴雲吐霧如故。共產黨進了上海，起先倒還安然無事。但是數月以後，忽有一日，足有一百多人氣勢洶洶地直撲鈞培裏，圍在黃老板公館大門口，大呼小叫，揚言要把黃老板家中打得稀爛。這時候，黃老板精神矍鑠，大踏步搶出門外，麵對著那一百多攘臂擄袖、瘋狂暴跳的強徒，黃老板拉開嗓門便是聲聲怒吼：
“我就是黃金榮，你們各位今朝來，阿是要把我黃金榮的家裏打爛！”多一半人被這白發皤皤老者的虎虎生威震懾，也有人雜在人群中喊：“是的！今天一定要打爛黃家！”
“好！”黃老板斬釘截鐵地一答：“要打爛，我自己來，現在我把大門關上，我自家來打給你們看！等會兒你們進來查，有一件東西沒打爛，你們盡管把我的房子拆了！”
說完，他就命手底下人關大門，童顏鶴發的黃老板擄起衣袖，抄根門閂，就此要自己打爛自己的家。這時候，偏偏不知從何而來的‘調解者’隔扇大門之外，好說歹勸，高聲排解：
“好啦，好啦，黃金榮已經知錯，看在他一大把年紀的份上，饒他一次！”
緊接著，又有人來拍門，黃老板氣喘咻咻的，親自把門打開，外麵有幾個毛頭小夥子，張牙舞爪，指手畫腳，好生教訓了黃老板一頓，一場毀家的糾紛方告有驚無險，化弭於無形，百把個窮凶極惡的人逐漸散去。黃老板80多年來從不曾受過這大的侮辱，回到客廳，氣呼呼地一坐，足有半晌說不出話，他老淚縱橫，那幾個毛頭小夥子教訓了他些什麼，也是一個字都不曾聽見。
隔不了幾天，又有共產黨的幹部上門來，叫他“向人民大眾坦白”，黃老板雙手一攤地問：
“叫我坦白什麼事？”
“你這一生的罪惡，”共產黨幹部字字著力地說，”“請你詳詳細細寫份自白書。”
黃老板有意反抗，但是家中人都苦苦勸他忍耐：“人為刀俎，我為魚肉，反抗是沒有用處的。”迫於無奈，他請位朋友寫了厚厚一疊的自白書呈上去，從此以後便坐立不安，提心吊膽地等侯判決，其結果，是共產黨派人來抄家。妙的是毛病還並不出在黃金榮的自白書上。