清嘉慶十三年，歲次戊辰，1808年。有一戶姓曾的人家遷到了湘鄉縣南一個叫白楊坪的小山村。由於村子地處偏僻，人煙稀少，所以稍有風吹草動全村便盡人皆知。剛遷來的曾家共有十幾口人，家境一般。曾家的長者雖然已年過花甲，但白須飄飄，精神矍鑠，一臉慈祥，仿佛一位仙者。
這位老者便是曾國藩的祖先曾竟希，也是曾家在清初最早遷到湖南湘鄉的祖先。曾竟希有兩個兒子，其中第二個便是曾國藩的祖父曾玉屏，人稱星岡公。曾玉屏有三個兒子，曾國藩的父親曾麟書是老大，曾玉屏的第二個兒子早年病死，第三個兒子曾驥雲沒有孩子。相比之下，曾麟書可謂多子多孫，他生有四個女兒和五個兒子，曾國藩排行老二，上麵是一位姐姐，下麵有四個弟弟和三個妹妹，但最小的妹妹早年夭折。
湘鄉曾家祖籍衡陽，曆代都以耕種為生，是靠天吃飯的農民，家境自然好不到哪去。自明朝以來，曾家人都與科舉無緣，連個秀才也沒有。直到曾竟希的祖父曾元吉一代，才開始逐漸擺脫貧窮。曾元吉夫妻靠勤勞的雙手創下了一片家業，在湘鄉大界蓋了多處宅院，在衡陽購買了四十畝土地。在當時來說，也算家境闊綽。到了曾元吉年老之時，他把自己的家業全部分給了子孫後代。
在曾國藩的高祖曾輔臣去世三十二年後，他的獨子曾竟希便帶著全家十多口人遷到了湘鄉縣南百餘裏外的小山村白楊坪，在白楊坪買了很多便宜的土地。那時的曾竟希六十六歲。
曾家曆來奉行節儉、勤奮，為人厚道。曾國藩的祖父曾玉屏，是曾竟希的次子，他在年少時受到父輩影響，勤奮好學，努力上進。但後來隨著家境日漸富裕，他開始變得好吃懶做，不求上進，常和紈絝子弟混在一起，染上了不少惡習。每日騎馬到湘潭街上，和臭味相投的朋友喝酒劃拳，常常是通宵達旦，日升高頭還在酣眠。
轉眼一年又一年，曾玉屏隨著年齡的增長，也感覺這種生活毫無意義，開始感到厭倦。一日，正在旅館裏睡覺的曾玉屏感覺口幹，便下床去喝水。喝完水之後，他準備接著睡，卻聽見隔壁有人在談論他。一人說：“這曾家祖輩都很勤勞，可如今卻出了此等輕浮淺薄之子孫，真是家門不幸啊！”另一人也隨之歎氣。聽到這些話，此時的曾玉屏再也睡不著了，他輾轉難眠，想想這幾年的所作所為，確實感到羞愧。在那時，名聲比什麼都重要。那兩個人的話像尖刀一樣刺中了曾玉屏的心髒，他不想給祖上丟臉，不想把祖上辛苦得來的家業毀在自己的手上。可謂一語驚醒夢中人，曾玉屏終於醒悟，他決定不能再這樣混下去了。從此之後，曾玉屏成為了家裏起床最早，幹活最多的一個人，再也沒有偷懶。而“早”字便成為曾家門訓中八條之一。改過自新之後的曾玉屏變成了另外一個人，起初大家對他的行為有些懷疑，但畢竟他不像以前那麼無所事事遊手好閑了，對於這種轉變，曾家人都為之高興。
湘鄉地處丘陵地帶，大部分土地都是山丘，凹凸不平。要想在這樣的土地上耕種，可以說是難上加難。可曾玉屏不怕困難，日夜不停地在山丘上耕種梯田。為了幹活方便，他在山腳下搭了一間小屋子，不斷地開山鑿石拓荒。終於他開墾了一片大田地。種上作物之後，他親自放水澆灌、除草、施肥，然後喂豬、養魚，天天如此，從沒有停過。