到今天，我依稀還能記得那一個對於他十分難過的下午。我正在布滿暮色的後軒（那是一家人吃飯的地方，就在大廳背後）裏做作業。大門響了，不一會我忽然看見父親走了進來。他一邊拉住我的手，一邊端詳著我，接著他就走上樓去。繼母不在家，出去打牌了。我聽見樓上有移動箱篋的聲音。過了一會，父親在叫喚我，我便跑上去。
隻見父親呆呆地坐在我的衣箱旁邊，箱蓋打開著，一旁堆著我的衣物；一套發了黴的棉衣褲，幾件夾衣衫、幾件長褂、幾套短衫褲，此外便是前穿後通的一堆破爛襪子。父親陰沉著臉問我，這是你平時穿的？我不敢直接答覆，隻道媽說過年時再給我做新的。
以後的事，我現在已記不清了，就是在當時，我也沒有弄明白過。隻是幾個月後，父親又來了一次杭州，接著繼母便回江西去了。表姊們告訴我說父親和繼母離婚了。這消息並沒有使我吃驚，相反倒有些釋然之感。
我自幼喪母，雖然祖母視我如瑰寶，但終究不是母親。任何孩子，即使他挨了母親的打，也比我這個沒有母親打的人日子好過，何況祖母也早已去世了。
繼母來了，我滿心以為我可以得到一個愛我疼我的人，我可以隨便對之撒嬌撒野的人。可是這個夢，還沒有等送她來家的父親離去，就完全破滅了。繼母的理由是我已經是個大孩子，應當立規矩，不該再“縱容”我。因此在她看來，我一身無一是處。從此我和她之間，隔了一重厚壁。這重厚壁，便是她經常虎起的麵孔。她給我立的什麼規矩，別的不說，隻說晚上非等她麻雀牌打完，才讓我跟著她上樓睡覺，因為她怕我從床上滾下來。我就在牌聲和賭徒的喧囂中，做我的數學習題，背誦我的課文。我一生從來沒有賭過，麻雀牌的技巧我一竅不通；而且深惡痛絕，也許和我當時的處境，不是沒有關係的。
我怕繼母，盡管她沒有打過我一下（她不敢，如果沒有家裏的其它人，我想她早就不會饒過我的），可是少不了責罵。我有差錯是責罵，我沒有差錯也是責罵。甚至她在牌桌上輸了錢，也要對我嘮叨一番，說是我攪了她的手運。
父親並沒有向我提他離婚的事，隻是他自己照顧了我幾天之後，便把我托給我母親生前的寄姊家裏去生活了。一直到三十年代初，有次我到南京去過寒假，他才和我提起這件事。他一個人住在南京臚政牌樓大同公寓，過著老鰥夫的孤寂生涯。早上天不亮起來，匆匆擺渡過江到浦口津浦路局上班。晚上下班回來，有時和朋友們去聽聽戲，吃吃小館子，有時候便一個人在寓室裏，悶頭在昏暗的電燈底下看書。他喜愛文學，有時也喜歡謅幾句詩，當時上海出版的文學刊物塞滿了他的那間鬥室。
有一天黃昏，他帶了我到夫子廟去吃了頓晚飯，兩個人喝了些酒。回到公寓裏，他在燈下默默地抽著雪茄煙，不時抬起眼來瞅我一下。我發現他的神情有些不平常，便說：
“爸，你有事要講嗎？我聽著。你煙抽得太凶了。”
父親又抬頭望了我一眼，慢吞吞說：三舅柵四舅都勸我再結婚，說我老了，需要有個老伴，一起生活有個照應，可我想來想去，總覺得還是現在這樣一個人生活的好，過慣了也無所謂了。而且再和一個人結合，會生出多少事來！
我沒有忘記當年為了你還小，需要有人撫養，才再結了次婚。但我沒有選好適當的人，使你受了委屈，我對不起你的母親。而現在你已經成年了，再過兩年大學畢業，你能夠建立自己的生活，我也了卻一樁心事，我又何必自尋煩惱呢？
其實，要父親再結婚有個老伴，是我和四舅商量的，請三舅四舅提出來的。
父親是個木訥而不善於表達感情的人，盡管他的腦筋非常靈敏，有時他可以從你的神態與語言中探知你隱藏在背後的東西，但要我這個疏魯的人透過他那副眼鏡片去摸索他的靈魂，真是難上加難。說實在的，即使他一輩子沒有對我一次疾言厲色，而且我還都從他平時若有所思的對我注視，看到他對我不用言語的愛撫，我還是有點害怕他的。也許這隻是由於小時候表兄姊們常常用“小胡子（指我的父親）來了”嚇唬我有關。說來說去，這種陌生感是因為我從小沒有長期和他在一起造成的。
我說，“這話是我向四舅提起的，我不知道大學畢業後會有怎樣的生活，你這樣一個人過日子，我覺得難受……”他聽我聲音變了，便說：“以後再談吧……”
我說，“既然開始了，就談下去吧。”於是他講了許多不再結婚的理由，我講了許多他必須再結婚的理由，談到隔鄰人家雞叫，也談不出個所以然來，事情也就這樣擱下了。抗戰軍興，國民黨蔣介石棄南京不守而奔武漢。父親工作的津浦路已完全淪人敵手，就此把員工全部解散，我父親也因肺病複發，展轉回到上海。他到滬時，我已決定去香港，便租了間房子把他安頓好，自己則上了旅途。