餘幼年常牧牛，祖母令佩鈴，謂曰：“日夕未歸，則吾倚門；聞鈴聲，則吾為炊，知已歸矣。”
又，《白石詩草》有《山行見砍柴鄰子感傷》詩，自注雲：
餘生長於星塘老屋，兒時架柴為叉，相離數伍，以柴爬擲擊之，叉倒者為贏，可得薪。
白石的祖母姓馬，父名傳虎，湘潭人。王闓運撰墓誌說：“生十歲，喪母，能自成立，孝事嚴父，慈育兩弟。年十九，歸同縣齊君萬秉。兩姓寒族，……始昏三日，椎髻執爨，井臼躬職。……夫性剛烈，婉之以禮。（白石自撰《祖母墓誌》雲：“萬秉公性剛直，負氣不平，常與人爭論，大母聞之，輒以言解之。”）敬順舅姑，克和娣姒，尤精紡績，衣布有餘。……有一子二孫，慈勤顧複，每助秋獲，帶笠負雛。眾笑其癡，己增其愛。……”是年十一月，白石的三弟純藻生（字曉林）。
白石十二歲。
是年正月二十一日，娶妻陳氏，名春君，是年亦剛滿十二歲。（同治元年壬戌十二月二十六日生）
五月五日，祖父萬秉公病歿。《白石自記》雲，是時“家財僅六十千文，盡其安葬。於是吾父一人耕，兒女多，無計為活，令吾學於木工。吾妻事祖翁姑之餘，執炊爨，和小姑小叔，家雖貧苦，能得重堂生歡。”
《白石自狀略》記祖父死在他十二歲時。他晚年祭陳夫人文說：“清同治十三年正月廿一日乃吾妻於歸期也。是時吾妻年方十二。是年五月五日吾祖父……壽終。”年歲皆合。但祭文又雲，“吾與賢妻相處六十八年。”陳夫人死在庚辰二月（民國二十九年，1940），距甲戌為整六十六年，因白石當七十五歲時自己加了兩歲，所以多說了兩年。
湘俗童養媳與其夫大都年歲相當，先正式舉行婚禮，謂之“拜堂”，便在夫家操作。等到成年，擇期“圓房”，然後同居。白石與陳夫人是到光緒七年十九歲時才圓房的。
萬秉公很早就能認識白石的天才，他待白石也特別慈愛。《白石自狀略》記祖父之死雲：
璜感王父以指畫膝，以爐鉗畫灰，教之識姓名字樣；皮衣抱孫睡，孫暖自寒（自注：王父嚐以烏羊皮裘抱孫於懷中暖睡為樂）。璜哭泣三日不食。
是年，璜父教之扶犁，後因年小力弱，轉學木工。朝為工，暮歸，以鬆油柴火為燈，習畫，凡十餘年。
白石學木工，初學粗工，後改學小器作，製造精微器物，並雕刻桌椅花紋。因選花樣，得見《芥子園畫譜》，甚愛之，遂一一摹繪。白石自幼即喜畫，這個時期裏他學了木匠的技巧，才得見畫譜，故他的畫不是專從臨摹畫本得來的。他學木工，雕刻花紋，也和他後來雕刻印章有關係。（參用王森然所記《白石事略》）
白石八十三歲時，有《憶先父》短文雲：
予少時隨父耕於星塘老屋前之田，向晚濯足星塘，足痛如小鉗亂鋏。視之，見血。先父曰：“此草蝦欺我兒也。”忽忽七十餘年矣，碧落黃泉，吾父何在！吾將不能歸我星塘老屋也！癸未五月十一日。
《白石自狀賂》於十二歲以後，二十七歲以前，無記事。他自記《周太君身世》中有雲：
太君年三十後，翁棄世。……從此家境奇窮。恨不見純芝兄弟一日長成，身長七尺，立能反哺。太君生六男三女，提攜保抱，就濕移幹，補破縫新，寸紗寸線未假人手，勞苦神傷，故中年已成殘疾。
從此節可窺見此十餘年中的生活情況，先抄在此。
白石十四歲。
十月，四弟純培生（字雲林）。
白石十六歲。
是年從周之美學雕花木工。（白石撰有《大匠墓誌》，雲：“周君之美，大匠也，以光緒丙午九月廿有一日死。……君於木工為最著，雕琢尤精。餘師事時，君年三十有八。嚐語人曰：‘此子他日必為班門之巧匠，吾將來垂光，有所依矣。’君無子，故視餘猶子也。越十年，餘改業於畫。又越十四年，餘身行萬八千裏，三出三返，又越五年，……君死矣。……憶自餘從事以來，忽忽二十有九年，與餘絕無間言。”）
白石後來常在齊伯常（名敦元，邑紳）家中做木工。後於“為家公甫（伯常子）畫秋薑館填詞圖”題詩中追記其事雲：“稻粱倉外見君小（自注：餘廿七歲前為木工，常弄斧於君之稻穀倉前），草莽聲中並我衰。放下斧斤作知己，前身應作蠹魚來。”
黎戩齋《記白石翁》雲：“芝木匠（時鄉人呼白石為芝木匠）每從其師肩斧提籃，向主家作業。……陳家壟胡姓，巨富也。凡有婚嫁具辦奩床妝櫥之屬，必招翁為之。矜炫雕鏤，無不刻畫入神。”（熙按：陳家壟及竹一帶，胡姓聚族而居，大都巨富，為宋胡安國後，與黎姓通婚姻。白石少時，於兩家因緣最深。戩齋名澤泰，一字爾穀，我族兄薇蓀的次子。白石家居時，戩齋每年正月必過他家拜年，自幼至壯，不曾間斷，所以熟悉關於白石的文獻。）
白石十七歲。
八月，五弟純雋生（字佑五。民國十七年戊辰，死於匪亂，年五十）。
白石二十歲。
他晚年《祭陳夫人文》說：夫人“廿歲時，長女菊如在孕，一日無柴為炊，〔吾妻〕手把廚刀，於星鬥塘老屋後山右自砍鬆枝。時孕將產生，身重，難於上山，兼以兩手行。”又雲：“以及提桶汲井，攜鋤種蔬，辛酸曆盡，饑時飲水，不使娘家得聞。有鄰婦勸其求去，吾妻笑曰：‘命隻如斯，不必為我妄想。’”
白石廿一歲。
九月，長女菊如生。（適鄧氏）