按照父親的說法，楚茂源離開母親跟著父親生活的時候隻有兩歲半。但以此推算，那場史無前例的運動尚未開始。1961年到1966年運動開始之前，中國基本上處於休生養息的階段。在此期間雖然開展了四清運動，但運動的主要對象不是黑五類。所以四清運動即使有所擴大化或者說路線上有所偏離也應該不至於對楚漢明的家庭造成致命的打擊。當然，由於楚漢明和吳鳳雲的婚姻早已有了裂痕，更重要的是他們政治思想上的距離無法縮小，甚至漸行漸遠，夫妻矛盾難以調和，不斷加深的隔閡導致夫妻關係發生破裂也不是沒有可能。在文化大革命開始前就已經出現分居或者半分居的狀況同樣符合情理。但可以肯定的是，聲勢浩大的運動絕對是他們夫妻關係走向徹底破裂的催化劑。從邏輯上推斷，吳鳳雲之所以下定決心和楚漢明劃清界限，是因為到了不得不作出最後抉擇的緊要關頭，這才有了揭批自己丈夫的那一幕。那麼這樣的時機顯然應當發生在那場運動開始之後，黑五類麵臨著更加嚴酷衝擊的背景之下。
楚茂源跟著父親生活的時候，當時是不是隻有兩歲半，誰也無法證明。或許父親的話略有誇張，但當時楚茂源的年齡確實很小絕對是不爭的事實。因為在楚茂源初期的記憶中，殘留著一些零碎的片斷，可以提供必要的佐證。他還模模糊糊地記得他一個人坐在黑暗裏等著父親回來生火做飯的情景。那時候他連煤油燈都不會點，不會使用火柴，由此可見他當時的年齡之小，並非虛言。
因為楚茂源那時候太小，還沒有建立起明確的是非觀，所以他跟著父親吃的同時，也跟著母親吃。不管大人之間如何爭鬥，他倒從未受過半點委屈。
頗具諷刺意味的是，母親帶著兒子去參加父親的批鬥會。有人領頭高呼口號：“打倒楚漢明！”母親也跟著喊，而且聲音宏亮，表明她態度堅決，毫不猶豫。楚茂源懵懵懂懂的不知道怎麼回事，也不會喊，就被母親抓著他的小手往上舉，喊一次舉一次。
那一天，肯定是母親管他的飯。
也許就是從那個時候起，楚茂源的父母親基本上就算是徹底的分道揚鑣，既不合汙也不同流了。
母親門上紅色的“忠”字，代表著她用極大的犧牲換來的光榮。她雖然為此付出了沉重的代價，但她流露出來的喜樂之情仿佛在告訴所有的人：她獲得了解放和新生。和這個比起來，其他的都算不得什麼！
父親的門上也被要求貼上了表明他身份的標簽——“壞分子”。“壞分子”三個字是父親用毛筆寫在一塊白布上釘上去的。他很認真地寫下那三個字。他不但在下筆之前反複琢磨過的大小和間距，而且屏氣凝神，仿佛他要完成的是一件偉大的作品。白布的四周被他用藍線逢過，不但看不到毛邊，而且由於針腳細致，像是精心設計過的，頗具藝術的效果。楚漢明在端詳他的得意作品的時候不知怎的就想起了杜建一——如果這三個字由他來寫會寫成什麼樣子。杜建一肯定比他寫得好，這是勿庸置疑的，更不要說那些比杜建一厲害的高手，他們往往會有出人意料的獨具匠心的筆法展現出來，讓人不服都不行。遺憾的是他沒有機會再看到杜建一的毛筆字了。他為自己突然會冒出這樣荒誕的想法來感到好笑。
楚漢明在做這件事的時候絲毫沒有羞恥感。他雖然沒有就此說過些什麼，但是他光明磊落、從容淡定的態度顯然也感染了他的兒子，從而讓他的兒子也能坦然無畏地進出這道門，盡管門上漂亮的符貼就像一道魔咒。