從1870年的正月十五到當年秋天，就是阿芝讀書的整個階段。正沉浸在讀書、繪畫之趣中的阿芝，到了秋天，因田間的稻子要收割了，蒙館和“子曰店”照例都得放“扮禾學”，正值“扮禾學”，阿芝剛巧又病了，隻好棄學回家。再加那年天公不作美，田裏收成十分淡薄，對於已經添丁加口的齊家，無異於瓦上添霜。青黃不接的時候，連飯都沒得吃了，阿芝又是多病，真把個齊周氏愁得要死。好在阿芝的病終於好了，在這種節骨眼上，阿芝的母親也別無他法，哽咽著對阿芝說：“年頭兒這麼緊，糊住嘴再說吧！”年景不好，田地又不多，一家人從年頭忙到年尾，還是糊不住嘴，日子很是慘淡。
八歲多的阿芝就留在家裏，幫著做些家務事，就此中斷了讀了不到一年的蒙學。輟學對於阿芝來說是痛苦的、不是心甘情願的卻又無可奈何，看著母親曾經秀麗的臉龐日益蒼老、皺紋多得如丘壑，阿芝不忍心也不願拂母親之意，隻好暗自為輟學而傷心落淚、黯然神傷。阿芝也深知，母親也是迫不得已：祖父、祖母年事已高，全部重體力活都壓在父親懦弱的肩膀上，下麵還有兩個嗷嗷待*的幼弟，一應家務事都得由瘦弱的母親來承擔，的確是不勝體力啊。懂事的阿芝從此就留在家裏，做著力所能及的事情。
有一件事對阿芝的印象是最深的：家裏的存糧吃完了，母親要他到田裏去刨點芋頭回來，用牛糞煨著吃，很香甜，卻又很辛酸。芋頭刨完了，阿芝就到後山去挖野菜回來當飯吃。窮人家的苦，苦到什麼程度，惟有窮人才能知道，豪門貴族豈能明白？後來每逢畫芋頭，阿芝總是百感交集，回憶當年的艱辛生活，有一首詩可以揭示他的這種感覺：
一丘香芋暮秋涼，當得貧家穀一倉，
到老莫嫌風味薄，自煨牛糞火爐香。