曼殊5歲那年，黃氏、大陳氏仍連年生女，未得男孩；封建宗法思想嚴重的蘇傑生遂打破種種顧慮，公開承認了他的家籍，將其由外祖父所起的日本名字“宗之助”改為“亞戩”，並擬於近期攜其返國。
當蘇傑生將這一打算告訴河合氏姐妹時，她們始而感到愕然，繼而又難免相對落淚。
經過一番難堪的沉默後，還是河合仙先開了口：
“既然蘇家承認了那個孩子的家籍，隻好讓他回去了，我隻希望蘇家能夠待他……好！”說到這裏，河合仙已經泣不成聲。
“姐，待他長大成人後，隻讓他始終認你為親媽……”若子又轉身望著蘇傑生，泣聲道：“希望蘇先生……也能夠嚴守……”
沒等若子說完，蘇傑生便接著話茬說：
“請你們放心，為了孩子，我也一定會嚴守我們的協定。”
在說上述這番話的時候，蘇傑生的眼睛總是閃閃爍爍的，因為他從心裏覺得對不住她們姐妹倆；他所結下的這一“孽緣”，已給他和眼前的這兩個女人造成了太多的意想不到的痛苦。想到這裏，他神色黯然地掏出一張支票，塞給若子，低語道：
“我，我實在對不住你們姐妹，這點錢就留給你們吧！”說罷，便懷著無盡的內疚，匆匆走開了。
就在曼殊6歲那年，蘇傑生將其帶回廣東老家——白鶴港。
這是位於廣東省香山縣的一個小村鎮（今更名為瀝溪，在珠海市前山鎮南溪鄉），蘇家就在這個鎮子的一條小巷內。這個當時尚不足百戶的小鎮，南距澳門僅20餘裏，地處山坳，前臨小溪，俯視澄明，遊鱗可掬，使人悠然而生濠濮間想。信步盤桓，但見鬆柏蓊鬱，修篁滴翠，更有許多不知名的野花點綴其間，天趣自成。而那濃蔭如蓋的龍眼樹，則以其碩大的樹冠引來陣陣清風，給南國炎熱的天氣帶來愜懷的涼意。每當夕陽西下，一群又一群楚楚可觀的白鶴，麇集於柳蔭水涯，競相伸展著頎長柔軟的曲頸，優雅地起舞，那時緩時急的清唳，應和著鬆濤竹韻和淙淙的流水聲，將勞累了一天的村民搖入夢境……
以這樣一處景色幽絕的所在，作為童年生活的搖籃，確也不乏詩意；但曼殊卻正是在此初嚐世味的炎涼的。
作為孩童，曼殊這時處於最自然的狀態中。他來到這個世界，仿佛就是為了看、聽、觸摸和歌唱；沒有機心，沒有任何功利的盤算。他留意身邊的一切，在他幼小的心靈裏，裝滿了對世界的關切與熱愛——童年美好的記憶之所以會遠遠超過長大後記憶的貯存量，其秘密盡在於此。
可是，生活卻未向曼殊——這個僅有6歲的孩童，呈現出玫瑰色的笑容。
在這個古風悠然的江南小鎮，時間似乎有意停下了腳步；其渾樸幽雅之狀宛若一首頗耐諷詠的小令，唯獨缺乏一點新奇和刺激。
而隨著曼殊這個“異客”的到來，人們的好奇心和“窺探欲”似乎一下子被調動起來。