我母親說：“像這種有錢的小姐你不要跟人家走得太近，交朋友就可以了，但不要多想，她們花錢大手大腳的，你掙的錢還不夠她一天花的。”所以我也就不再多想了。1952年我去當兵了，退伍回來後，有天在路上遇到她，那天我穿的是海軍的白衣服，看到她就跟她打招呼，問她現在在做什麼，她說她到香港去了。就是很簡單地問了一句，連多餘的客套話也沒講，當然也沒問她在香港的地址。後來我們就一直沒聯係了。很巧的，我姓餘，她也姓餘。
我跟妻子是打籃球認識的。她是啟秀女中的學生，廣東潮州人，父親是華僑。1956年我退伍回到上海當老師，通過朋友的朋友認識她，後來就介紹她到朝陽中學當體育老師。我們一起上下班，來來去去。我騎自行車，她坐三輪車。
我說你賺的錢都拿去坐三輪車了，不等於沒賺錢嗎？她說我上班就行了，賺不賺得到錢無所謂，家裏不要我的錢，我爸爸有錢。我就陪她一起坐車。後來她有課就上課，沒課就看我上課，等著我下課陪她坐車。我們就慢慢開始交往。
我母親說：“你看她也是個大小姐，你怎麼養得活她？”我說：“不要緊，可以在思想上慢慢改造她。”後來她也慢慢改掉了一些大小姐的毛病。我們談朋友談了一年就結婚了，第二年就生了大女兒。我們感情很好。人就是這樣，喜歡就什麼都可以，她叫我做什麼我都願意。她性格很開朗的，打籃球，很活潑。
1958年之後，上海就沒有拳擊比賽了，拳擊是我的愛好，沒有比賽打我就很不開心。當時我就想偷渡到香港去，香港那邊幾個打拳的都知道我是很厲害的，也想叫我去。我就想過去多打點拳，多掙點錢，也改善一下家裏的經濟條件。於是我就向學校的人事科請假，說是去合肥看妹妹。實際上我是想去香港。我就那麼走了，去了廣州。
我們一起去的有好幾個人，約好到一個茶樓喝茶商談去香港的事情。他們先去了，我在後麵，正準備上去的時候，覺得有個人盯著我，我看到他身上有手槍，想著肯定是公安局的。我做賊心虛，所以沒敢過去，就殺了回馬槍回了杭州。
後來才知道，可能是因為我們在公園說話、打聽蛇頭被人聽到了。回杭州的路上我得到消息，說一個也準備去香港的朋友在杭州被抓了，我很害怕。但後來派出所發現我一直沒上班，也一直沒回家，還是把我抓了。他們說：“我們知道你要去香港，派了很多便衣跟著你，你要老老實實交代問題。”我說：“我就是想去香港打拳多賺點錢，讓家裏好過點，我又不去美國，我是中國人。”他們就把我放出來了。
我回到學校，學校問我去哪了，我就老老實實說請假去香港了，結果被公安局請去審查了兩個月。回來之後學校讓我去找教育局，他們說像我這種情況不能再當老師了，讓我回家去等通知。
結婚之後我就沒讓我老婆工作，我說我能養活她。因為那時我是退伍的連級幹部，工資比較高，一個月有兩百多塊，人家大學出來的工資也才四五十塊。
後來（自然災害）不行了，我就想去香港打拳多賺點錢，結果這個想法也不行，工作也丟了。我跟我老婆說總得想想辦法。
我老婆是廣東潮州人，她家的海外關係比較多。我那時候去香港是屬於偷渡，沒有向上麵打報告的，我就建議她打報告去投奔她的阿姨，她有個阿姨在新加坡。報告打上去了還沒批下來，公安局就來人征求我的意見，我說：“我老婆出去我有什麼意見？一家人總是要吃飯的，我工作沒了，她出去工作養活家裏，那我就在家帶孩子。”後來他們就把我帶到派出所，見到上回抓我的那些人，他們就說：“叫你老老實實的，怎麼這回又讓你老婆出國了？”我就說：“我家裏的人要吃飯，她是正當打報告出去工作的，批不批還是要看你們。”公安局的人沒理會我，把我押送到安徽的白茅嶺農場，我老婆也沒去成新加坡。
我就這麼熬過來了，你說拳擊不能打了，老婆離了、孩子走了能不難受嗎？
我沒死，活下來了，像傻子一樣熬過來了