“你身體太瘦了，你哪能做了那活兒？”
“這活兒還能比鄉下的重？”
兩人爭論了幾天，朱氏最後終於進了紗廠做起了工。
1890年夏天，上海又流行起了霍亂，絕大多數的患者猝不及救，馬路上，溝渠中，不時可以見到倒斃的路人。
霍亂的災難沒有降臨到杜家，但朱氏在這極端恐怖的歲月又生下了一個女兒。產後，她由於極度的衰弱而死亡。
杜文卿悲痛萬分，一手抱著一個孩子，守著妻子的屍體，號啕大哭。
杜文卿傾其所有，在親友們的幫助下，為妻子買了一口白皮棺材，然後殮下妻子，雇人抬回高橋鎮。
回到鎮上，杜文卿再也無法埋葬妻子，他隻好把朱氏的靈柩，放在離家不遠的一條田埂上。他自己一麵哭著，一麵取來一束束的稻草，把那白皮棺材遮蓋起來。
朱氏的死，使杜文卿一下子老了10歲。世道艱難，他覺得生不如死。可是，他拋不下一對失去母親的小兒女。他把杜月笙和他的妹妹一同抱回楊樹浦，三人相依為命。
生活實在太艱難了，又要掙口飯吃，又要照看孩子，他終於無法支撐，隻好忍痛割愛，把女兒送給了別人。
把女兒送走後，杜文卿繼續開米店。此時，他和一位姓張的女人相遇。於是，杜月笙又有了一位繼母。
這位繼母倒也賢惠，視杜月笙如己出。家境雖然貧窮如故，可偎依在張氏身旁的這段時光，仍然還是杜月笙童年時期的最幸福快樂的美好時光。
但是，不幸接著又來臨了。
杜月笙5歲時的這一年秋天，上海一帶大旱，居民紛紛外逃覓食。杜氏一家三口，困守楊樹浦。臘月初九這日，天降大雪，氣溫陡降，杜文卿突然染病，尚不及醫治，便一命嗚呼了。
沉默寡言的張氏，此時無比堅強。她一邊照料著杜月笙，一邊設法為杜文卿備就衣衾棺木。母子倆一身孝服，哭著扶柩還鄉。
和杜月笙母親死時一樣，張氏也無法埋葬杜文卿。她帶著杜月笙，把杜文卿的棺材放在朱氏的旁邊，然後也用稻草覆蓋。
這兩口棺材在那條田埂上放置了許多年。數年後，不知為何，兩口棺材之間，長出了一棵黃楊樹，枝繁葉茂，蓋住了那兩口棺材。
杜月笙發跡後，一心想選擇一處好穴，為他的父母落葬。可是，請了幾位風水先生，竟然都異口同聲地說：
“老先生和老夫人浮厝的那塊地方，正好是一處寅葬卯發的血地，隻可浮葬，不能入土，因為一旦入土，風水便將破壞無餘。尤其是那一棵黃楊樹，更是杜門子孫後代榮枝的根源，動也動不得。”
杜月笙本是個迷信風水的人，一聽這話，便不再去動父母的棺材，任其繼續遭受風吹雨打。直到杜月笙在高橋鎮前無古人地建起杜氏宗祠後，也沒有把這兩具靈柩下葬。
張氏帶著杜月笙草草浮厝了杜文卿的靈柩後不久，又回到了楊樹浦，自立門戶，繼續開杜文卿遺留下的米店。當杜月笙6歲時，張氏又勒了勒褲帶，讓他進了一家私塾，啟蒙讀書。
這一年三月，刮了一場巨大的西北風，風中夾著冰雹，大者如拳，小者如豆。使上海周圍的麥苗損傷嚴重。
中日甲午戰爭，由於中國戰敗，半封建半殖民地的進程進一步加劇。張氏所苦苦撐著的米店，終於再也無法維持，隻好關門停業。她帶著7歲的杜月笙又回到了高橋鎮。
杜氏老宅還在那裏，隻是更加破敗了，但不論如何，容身還是可以的。不過，生活費用全無著落。
張氏是一個非常堅強的女人，她起早貪黑為人洗衣服，賺幾文錢，聊以糊口度日。
盡管生活如此艱苦，張氏還是節衣縮食，每月拿出5角錢，送杜月笙到另一家私塾讀書。一連讀了三個月，到第四個月月初開始必須繳費時，張氏實在拿不出錢來繳費，她抱著杜月笙痛哭了一夜。
第二天，杜月笙隻好輟學。
杜月笙在楊樹浦讀了兩個月私塾，在高橋鎮又讀了三個月私塾，加起來，共是五個月。
厄運接踵而來了，第二年，撫養杜月笙的繼母張氏又失蹤了，沒有人能夠知道她去了哪裏。
繼母神秘失蹤，杜月笙不但無人照料，而且連飯都沒有吃的。
住在杜氏老宅另一邊的是堂兄杜金龍，他是學徒出身，整年在上海灘上做生意，一年難得回家幾次。堂嫂一人帶著幾個孩子，日子本身缺米少鹽，根本不願照顧杜月笙。
杜月笙餓極了，隻好哭哭啼啼，找到了外婆家。
外婆對這個孤苦伶仃、饑寒交迫的外孫自然十分疼愛。
杜月笙暫時安定下來。
很快，杜月笙長到13歲了。此時，他結交上了一幫朋友。
那是一群遊手好閑的少年，被鎮上大人視為野孩子。他們有的偷，有的摸，有的賭。在他們的帶領下，杜月笙開始從杜氏老宅中“拿”出那些破爛的家什去當。破布爛棉花，鍋灶碗筷，瓶瓶罐罐，隻要能當錢的，他都“拿”。
就在這一年，杜月笙明白，自己將來肯定能成為“人上人”，享受榮華富貴的。
那是他用家裏的一杆秤一次當了15枚銅板之後。
那天，他鑽進了高橋鎮上的一個賭棚裏，和別人押寶。他的手氣在這一刻特好，旗開得勝，三次一押便贏得了75枚銅板。在他一生中，這是一次了不起的大勝利。他拿出30枚銅板，在當地一家不算太小的飯館裏要了一桌豐盛的酒菜。