日寇占領上海後，張嘯林同日寇大特務頭土肥原勾勾搭搭。由於他不遺餘力地替日寇賣力，日寇準備任他為偽浙江省長。消息被日本特務機關故意泄露，以影響黃、杜等幫會分子。關於杜月笙是否參與刺殺張嘯林的密謀，眾說紛紜。但杜月笙對張嘯林當漢奸十分不滿是真實的。這是由於張對上海幫會人事了若指掌，也給杜勢力在上海的活動帶來了威脅。為穩定自己賴於立足的地盤，杜曾多次托人帶信給張，但張對杜的話置之不理，並且想方設法了解杜月笙和戴笠在上海的活動。杜獲悉張即將出任偽浙江省長時，與戴笠達成了默契，杜表示不幹涉戴笠的計劃。於是軍統開始了行動。軍統特務連接兩次刺殺張未得手，便從其身邊保鏢打開缺口。《青紅幫三大亨》一書記載，張嘯林以高薪雇傭的貼身保鏢叫林懷部，其父曾在北洋軍閥時期做過旅長。因父死家貧，林懷部到上海投考法巡捕房當巡捕，後因犯過被巡捕房開除。張嘯林知其槍法奇準，能擊中拋向空中的銀元，又能在五十步外射穿撲克牌的愛司的紅心，便起用他為保鏢。軍統因林懷部貪財，便用重金收買了他。1940年8月14日，一輛外地來的黑色小汽車駛進張宅大院，林懷部上前打開門，來者自我介紹說是杭州錫箔局局長吳靜觀，係張嘯林的老相識。林便將吳領到了三樓張的房間。回到樓下後，林主動遞了支煙給正在修車的阿四，兩人閑聊起來。大約過了一二支煙的時間，倆人突然爭吵起來，而且越吵越厲害，大有一發不可收拾之勢。
張嘯林聽到樓下的吵鬧聲，心裏頓時怒火中燒，將上半身探到窗外，破口大罵：“你們這批人一天到晚吃飽了飯沒有事幹，還在我這裏吵吵鬧鬧，簡直是毫無體統！老子好多叫點東洋兵來，用不著你們哉！快些，一個個把槍給我繳下，統統滾蛋！”林懷部故意裝出憤憤不平的樣子，為自己辯護。張嘯林見林懷部竟敢頂撞，就罵得更凶，直罵到林懷部祖宗三代，林懷部被罵得狗血噴頭，一下子煽起了怒火，從腰裏掏出手槍順手就是一槍，不偏不倚，子彈從張嘯林口中射入，穿枕骨而出。張嘯林當場一命嗚呼。這個上海灘上不可一世的顯赫人物，終因投靠日寇甘當漢奸落得可恥的下場。三大亨中第二個去世的是杜月笙。上海解放前夕，1949年1月，他以45萬美元的低價將杜公館賣給美國領事館，做好了出逃的準備。4月10日，蔣介石在上海複興島會見杜月笙。蔣對杜說，上海可能守不住，“建議”杜在“適當的時機”攜全家遷往台灣。並說，如果不走，共產黨決不會放過他，而他（指蔣介石）本人也絕不允許任何人“變節投敵”。話雖寥寥，但威脅之意已明白無誤。
杜十分清楚，隨蔣赴台，結局無非寄人籬下。想來想去，認為還是先赴香港為上策。杜不露聲色地包一艘荷蘭輪船，把一家大小，包括一直與他同居的演員孟小冬都送上船，再悄悄與黃金榮道了別，於4月27日，乘船離開了上海，離開他飛黃騰達的樂園，舉家遷往香港。杜出走前，中共地下黨多次接近杜，做分化爭取工作。杜到香港後，保證他本人在港決不進行任何反共活動，也決不會去台灣，並且關照上海徒弟服從政府法令，安分守己。1951年8月16日杜月笙病死在香港，剩下的25萬美元的遺產，由孟小冬和其他幾個老婆瓜分。唯一沒有出逃的隻有黃金榮。1949年4月，解放軍渡江解放南京以後，黃同中共建立關係。中共中央首長表示：隻要黃金榮擁護共產黨，不再與人民為敵，一定既往不咎，希望他留在上海，不要輕舉妄動。陳毅也讓上海地下黨轉達希望黃金榮留下的意見。經過地下黨的工作，黃金榮沒有出逃，還向解放軍貢獻三項“見麵禮”：一是在國民黨逃離上海前的大屠殺中，掩護了一批地下工作者，並支持中共地下黨接管；二是把國民黨的一些財產編造報表，交給地下黨；三是交出400多名青幫頭目名單。在軍管會的教育啟發下，黃金榮曾公開登報檢討自己的罪惡，人民政府給以寬大處理。1953年黃金榮死於自己的寓所。