鴉片戰爭之後，左宗棠想“買山而隱”，但他是個“無產者”，祖傳的幾十畝薄田已送給了寡嫂。他在陶家坐館，每年得到束？200兩銀子，省吃儉用，直到道光二十三年（1843年），手中有了些積蓄，於是在湘陰東鄉柳家衝買了70畝地。他自己設計、建造了一座小莊園。園內除了稻田外，還有坡地和水塘。他在屋門前題署了“柳莊”二字。他高興地說：“從此我才有個家了。” 第二年秋天，周夫人率領三個女兒從湘潭遷來。王太夫人疼愛女兒和外孫女，也帶了孫女同來。左宗棠雖然仍在安化教書，但也經常回家，一家熱熱鬧鬧。王太夫人從前教兒女讀詩，現在又教孫兒女、外孫女讀書。每天晚上，全家歡聚在一起。孩子們朗誦唐詩，一會兒是“春眠不覺曉，處處聞啼鳥”，隔會兒又是“床前明月光……”、“慈母手中線……”，引起全家一陣陣的歡笑。念詩聲和歡笑聲一直傳到大門外。
左宗棠和夫人在柳莊度過了短短的一段幸福生活，可是也有不如人意的事。那幾年天氣異常，年成不好，先是一連幾年幹旱，到了道光二十八年（1848年），又陰雨連綿，發生洪水。柳莊的田禾都被淹沒，家中儲存的一點穀子也都發了芽。一家12口人吃不飽。由於洪水泛濫，疾疫流行，家人全得了病。左宗棠這時又常上當鋪去，家中稍值錢的東西都拿去典賣。回到家中，妻子兒女愁容滿麵，有的還躺在床上呻吟。他還苦中作樂，將杜甫的《同穀歌》念給周夫人聽：“此時與子同歸來，男呻女吟四壁靜。”幽默地說：“我想把‘靜’字改為‘空’字，‘男呻女吟四壁空’，這就更符合我們目前的景況了。”
這是他一生中最苦的一段經曆。雖然全家餓病，四壁空空，但他仍出來為救災奔跑，和同邑一些誌同道合的人士找有錢的人勸捐，並在族裏積穀備荒。第二年又發大水，他將積穀分濟給左家族人和柳莊鄰裏。柳莊距湘江僅10裏，是來往要道。災民從洞庭湖和湘江沿岸紛紛逃來，往內地就食。扶老攜幼，每天總有上千人經過柳莊，一路上餓死、病死的不少。左宗棠將倉中穀子全部拿出來，每天煮幾大鍋稀飯，施舍給過路饑民。他懂些醫道，自己配了一個治時疫的藥方，在家中熬製成丸藥，免費給患病的災民服用，救活了不少人。他和周、張夫人率同仆婦，親自在柳莊門前照顧過往的災民，分發食物和藥品。那幾年不是鬧水災，就是鬧旱災，他們全家經常節衣縮食，省下錢積些穀子備荒救災。周夫人賠嫁的首飾也典賣光了。道光三十年，左宗棠在族中建立了“仁風團義倉”，他買了400石穀捐入義倉，找了幾位公正人士管理，他和周夫人又賣掉了家中許多物件，經他們慘淡經營，這個義倉維持了許多年，救活了不少人。
那時左宗棠還是一個“寒士”，主要靠教書的微薄束？度日。但左家世代雖然貧寒，卻有一個樂善好施、扶貧濟困的傳統美德。曾祖父逢聖公天性淳厚，對父母、祖父母都很孝順。祖父患病時，他和父親定師公朝夕侍奉。他還常到河邊洗滌祖父的髒衣，一麵洗滌，一麵想起祖父的病情，淚流滿麵，鄉人見了都讚歎他的誠摯。他自己很窮，看到附近高華嶺過往行人往往口渴難忍，得不到一口水喝，就在嶺上擺一個茶攤，免費請路人喝茶。乾隆十七年鬧災荒，他將衣服典當，換了幾個錢，還找了願作好事的有錢人合夥，在袁家鋪擺了個粥攤，施給過路災民。逢聖公作這些好事，在當地是有名的。祖父鬆野公受了逢聖公的教誨，也樂善好施。他在族中修建義倉備荒，自己雖窮，首先捐出穀米，並勸族人捐獻。後來遇到荒年，族人老少都有救濟糧吃，沒有餓死的。左宗棠出生後，家境更貧困。但他家“七代秀才”，受儒家人道主義的教誨，遇到比他們更為貧困、亟待相助的人，總是想方設法，竭盡所能去幫助別人。
在左宗棠青年時代，還有過這樣幾件事：道光十二年（1832年）他預備去京師參加會試，那時正寄居嶽家，窮得拿不出旅費。周夫人將自己的陪嫁銀百兩給他。準備動身時，聽到嫁給朱家的大姊壽清正陷於極端貧困之中，窮到了“揭不開鍋蓋”的景況。他於是毅然將這一百兩銀轉送給大姊，解救了燃眉之急，周夫人並不怪他。可是路費沒有了，不能參加會試。幸好一些親友知道了，紛紛湊點錢，才得以成行。
他那次會試落第，在北京盤桓了半年。友人送了他三百兩銀子，於是起程回家。一天傍晚，他投宿在路旁一家小客店內。吃過晚飯後，正在房中休息，忽然聽到隔壁喧鬧聲音，就走過去看看。原來是來了四五個壯漢，圍著一位窮苦的老太婆討債，一麵還大聲責罵。老太婆哭哭啼啼，隻要尋死。那些人鬧了一陣，臨走前惡狠狠地對老太婆說：“你別想賴債，明天我們還要來的！”左宗棠等那些人走了，就詢問老太太是怎麼回事。那老太婆哭著說：“欠了人家三百兩銀子，還不起債，隻有一死罷了！”宗棠用好言勸尉他，“不要著急，明天我自會替你想法的。”第二天，那幾個壯漢又來了，宗棠便過去和他們說：“這位老太太還不起債，你們把她逼死，也於你們無益。我是一個過路旅客，於心不忍，想幫幫忙。但身邊錢也不多。我願意拿出二百兩銀子代她還債。可是餘下的數目，你們也不要再追究，否則我也不管了。”那幾個壯漢想想不錯，有這位好人代還債，多少能收回大部分欠款。否則逼死了人，一個錢收不回，還要吃官司。因此同意了。左宗棠請了地保來，拿出二百兩銀子，叫大家具結。事情辦好後，他動身回家。到家中時，身邊已經不名一文。那時家中很窮困，周夫人想他在外多日，幫人寫文章、教書等，多少能帶點錢回來。不想始終不見他將錢拿出來，而且還一言不發。周夫了明白他的脾氣，也不去問他，自己回到娘家借了點錢，敷衍充作家用，讓全家過得高高興興。後來周夫人才知道這件事，她很高興，向家人說：“這是作好事呀！”宗棠一生慷慨，周夫人也是一個慷慨的人。她信左宗棠，同情他的所作所為。
左宗棠後來作了大官，經濟條件不同了，但依然過著儉樸的生活。薪俸的大部分都捐給災民，或助捐軍餉，幫助貧困的親友和不相識的寒士等。史料上有過許多記載，如：同治八年（1869年）湖南又發大水，他捐薪一萬兩。光緒三年（1877年）山西、河南大旱，陝西、甘肅也發生災荒，他捐薪一萬兩，一些官員在他倡議之下，也紛紛捐款。同治三年（1864年）任浙江巡撫時，將一萬兩交公；後來兼任閩廣總督，就將總督薪俸用來修理巡撫衙署。寧波海關送給他八千兩銀子，這是巡撫可以“名正言順”地接受的官場陋規，他將這筆錢全部轉給浙江賑局。光緒四年（1878年）蘭州修理城垣，他命將所有修城用費都由他的薪俸支付。同治九年（1870年）他寫信告知兒子，他不會拿出錢來給家中買田地，“此非所以愛子孫”。他當年的養廉將金捐助給蘭州書院一萬兩，次年還要拿出一萬兩寄給湘陰賑災。他作官後屢屢捐款救災，自以為區區何足道。對青年時的救災活動，卻有美好的回憶。一次他捐了一萬兩銀子給湖南賑災後，寫信給兒子說：“我現在每年養廉銀有二萬兩，捐一點點錢，幫助鄉裏，這算什麼呢！要是有人提起，你們就告訴他，這是不足道的事。回想道光二十八九年間，我和你母親在柳莊散米散藥，情景恍如昨日。那時我隻是一個窮書生，人家讚我是行義舉，那倒還說得過去。我常說，一個老百姓能救人一命，就是一項‘功德’，因為他手中並無活人之權。至於高官厚祿者，本來就掌握了千百萬人的命運，他能救活一些人，原是分內之事；還不知在他手中沒有被救活的人有多少呢！”
後來他到西北，每到一處，首先就辦理賑撫。他告訴孝威等說：“自入關隴以來，首以賑撫為急。吾不欲令吾目中見一餓斃之人，吾耳中聞一餓斃之事。”幾十年前，和周夫人在柳莊散米散藥，看著一群群麵黃肌瘦、衣不蔽體的災民，扶老攜幼從門前走過，這樣淒慘的情景，始終不能忘記。自幼家中貧寒的情景，也時刻銘記在心，他告訴孝威說：“吾家積代寒素，先世苦況，百紙不能詳。”《二十九歲自題小像詩》中，有一首敘述當年苦況： 十數年來一鮮民，孤雛腸斷是黃昏。研田終歲營兒脯（注：父授徒長沙先後廿餘年，非脯無從得食），糠屑經時當夕飧（注：嘉慶十二年，吾鄉大旱，母屑糠為餅食之，僅乃得活。後長姊為餘言也，傷哉）。五鼎縱能隆墓祭，隻雞終不逮親存。乾坤憂痛何時畢，忍屬兒孫咬菜根。
幼年的苦況，青年的經曆，使左宗堂在一生中都對窮苦無告的人民抱有無限的同情。
左宗棠從最初隱居山中，直到參與湘幕，經曆了一番曲折。他本意“隱姓埋名”，不問世事，在眾多親友邀勸之下，終於為“保衛桑梓”而出山。即使出山後，他仍然想抽身引退，匿跡荒山，在同時人中是僅見，也可見他思想深處自有想法。在邀勸推薦他的眾多親友和官員中，有二哥宗植、友人胡林翼、曾國藩、江忠源、羅澤南、王柏心，地方大員張亮基、駱秉章，京官宗稷辰、潘祖蔭等，他終於出山，真有“斯人不出，如蒼生何”的光景。其中，胡林翼是推動他出山最熱心、積極，最有影響的一位。
胡林翼是怎樣一個人呢？在中國近代史上，他的名聲遠低於曾國藩、左宗棠，可能因他去世較早。有些人以為他一生中作了一件大事：鎮壓太平軍。實際上，他是有功於中國近代史的人。他是一個才華橫溢、膽識過人的人，對人和事都有獨特和深刻的看法。他尤其重視人才的發掘，人稱他“薦賢滿天下”。在他推薦的眾多人才中，有兩位傑出人物：林則徐和左宗棠。如果不是他的極力推薦，林則徐和左宗棠可能是另一番命運，近代史也將改寫。