當時已有五口人的齊家，有幾間東倒西歪的破屋，住倒不用發愁，但五張口僅靠一畝水田維持，其艱難可以想見。齊家的這一畝田，叫“麻子丘”，比別家的一畝要大得多，好年成可以打上五、六石稻穀，但還是管不了五口人的溫飽，沒辦法，阿芝的祖父與父親還得四處找零工做，以補貼家用。
星鬥塘的人做飯是燒稻草的，阿芝的母親齊周氏見稻草上麵總會零星得掛著幾顆稻穀，覺得燒掉可惜，就用搗衣的椎子，一椎一椎地捶下來，一天下來，竟然能得穀子一合，一月就有一升，一年就能積三鬥六升稻穀。等積累得多一點，她就拿去換棉花。還自己種了麻，這樣以來，阿芝的母親就春天紡棉，夏天績麻，然後織成布，染好顏色，縫製成衣裳，齊家上上下下的衣服，就自給自足了。閑暇時光，齊周氏養雞喂豬，不獨改善了家裏的夥食，也能換幾個零用錢。在祖父母、父母的勤勞操持下，阿芝雖然不能象富人家孩子那樣錦食玉衣，卻也能粗茶淡飯、麻衣粗布地不知衣食之憂。
依照齊家宗派的排法，阿芝這一輩，排起來應該是“純”字，所以阿芝派名“純芝”，齊家上下都叫他為“阿芝”。後來做了木匠，主顧們都叫他“芝木匠”，有的客氣的稱他為“芝師傅”。阿芝號“渭清”，祖父給他取號為“蘭亭”。齊璜的“璜”字，是他的老師取的名字，“頻生”也是老師給取的號，“白石山人”是老師為他取的別名，別人叫的時候省略了“山人”，就叫“白石”，後來竟然成了阿芝最常用的名號了。
兩三歲時的阿芝，總是疾病不斷，他的祖母、母親，也不知燒了多少香，拜了多少菩薩，磕了多少頭（為了表示心誠，婆媳倆常把頭磕得“咚咚”響，額角都腫得象個大柿子），又是請巫師、又是請神婆，還是無濟於事，阿芝的病照樣好好壞壞得拖了不少日子，可真把親人們給折磨夠了。
說來也怪，到了能說話走路的時候，不知為何，阿芝的病竟然好了。這對阿芝的全家來說，真是喜從天降，幾年來籠罩在齊家的陰鬱頓時煙消雲散了。原先那種單純而平和的快樂又充滿了阿芝的生活空間。
窮人家沒什麼值錢的家當，何況阿芝一家隻能穿阿芝母親自製的麻布粗服。可以想見一件羊皮襖對於阿芝的祖父意味著什麼，可以說這是他一輩子的積蓄和最珍貴的家當了。到了冬天，寵愛阿芝的祖父敞開皮襖，將阿芝緊緊裹在懷裏，一種護犢之情頓時蕩漾開來。齊十爺曾多次感歎說：抱了孩子在懷中暖睡，是他生平的第一樂事。