曾國藩無論官居何位，總以清廉作為為官的根本。他在位時，“署中沒有敢以苞首進者”，其夫人“無珍玩之飾”。據曾國藩的女兒回憶，曾家收受別人的禮僅一次，那是提督黃翼升的夫人進獻的。
黃翼升，長沙人，曾是曾國藩的部下。曾國藩組建水師時，黃翼升鞍前馬後幫了許多忙，是曾國藩的心腹大將。建立淮揚水師後，黃翼升被提升為統帶。1862年，黃翼升成為李鴻章的得力助手。曾國藩正值用人之際，想調回黃翼升，與李鴻章來往書信相商十三次，被李鴻章斷然拒絕。因黃翼升本性寬厚，性情溫良，深受眾將士擁戴，曾國藩千方百計要把這員心腹大將調回。李鴻章讚揚黃“古道熱腸，是武人楷模，又是平吳第一功臣，更是淮軍第一苦人”，因此堅決不給。為此事，曾、李二人相持不下，差點翻臉。
這個時候，黃翼升夫人出麵周旋，事情才有了緩和的餘地。
黃翼升其時身處兩難境地，左右不是，夫人出來調停，設法要拜曾國藩的夫人為義母。待到曾夫人壽誕之日，黃夫人帶著蒲翠鑰一雙、明珠一粒、紡綢帳一番前來拜壽，當著眾賓客的麵，黃夫人執意要拜曾夫人為義母，曾夫人礙於情麵，隻好收黃夫人為幹女兒。宴席散後，曾夫人向曾國藩說明緣由，開始曾國藩很氣惱，但轉而一想，此舉既能緩和因黃翼升而起的曾、李緊張的關係，又能籠絡將心，便再無異議。
曾國藩物質生活上的清苦是後人無法想象的。曾國藩進京的第二年，即道光二十一年（1841年），他別無生計，光景漸窘，拆東牆補西牆，總算熬到了年底，一心盼望外官例寄炭敬，過個“豐”年。所謂炭敬，說的是當時北方天氣嚴寒，每至冬日，家家燒炭取暖，外官照例於冬令以錢饋贈京官用為取暖之資，是為炭敬之名，實際是官場通行的陋規，約定成俗的舊例，說白了就是變相的送禮。可能曾國藩隻是翰林院的下級官吏，沒有什麼權力，因而當年地方官竟無炭敬饋贈，曾國藩無奈，隻好借了五十兩銀子過年。
道光二十二年，曾國藩同樣是東挪西借。春夏之交，他的外債已經達到了二百兩。到年底，累計欠債四百兩。曾國藩自顧不暇，焉能顧家？不過，曾國藩最重孝道，不管生活多麼艱難，每年總要寄些銀兩作為父母買肉之用。雖然曾國藩多次在家書中稱京城借債比較容易，他的師友比較多，能夠左右逢源，但欠債畢竟要還錢！這使曾國藩焦急不安，“寒士出身，不知何日是了也！”曾國藩的早年詩作中，不乏對困窘生活的描寫。如贈梅伯言詩中曰：
“隘巷蕭蕭劣過車，蓬門寂寂似逃虛。為杓不願庚桑楚，爭席誰名揚子居？喜潑綠成新引竹，仍磨丹複舊仇書。長安掛眼無冠蓋，獨有文章未肯疏。”
人無錢，受人欺，甚至連傭人都不把他放在眼裏。曾國藩的“傲奴”一詩頗有意趣：
“君不見蕭郎老仆如家雞，十年笞楚心不攜！君不見卓氏雄資冠西蜀，頤使千人百人伏！令我何為獨不然？胸中無學手無錢。平生意氣自許頗，誰知傲奴乃過我！昨者一語天地睽，公然對麵相勃硤。傲奴誹我未賢聖，我坐傲奴小不敬。拂衣一去何翩翩！可憐傲骨撐青天。噫嘻乎，傲奴！安得好風吹汝朱門權要地，看汝倉皇換骨生百媚！”
大考升官後，曾國藩的境況稍好，但絕不富足。家裏欠債，他要量力清還，諸弟捐監要他出錢，二男五女要養育，曆次升官要請客，還有一些人情來往，用度日繁，最後還是欠了一千兩銀子的債，生活上隻有節儉。所以，曾國藩雖然在北京為官十二年，但是就總體而言還是一直過著清苦的日子。
曾國藩從民間走出來，他深知百姓生活的艱難。他在翰林院期間，雖然不乏吃請應酬，偶爾也在自己的寓所擺上一桌，但總體上他感到“酒食較豐”並不是好事。
當時，在外官眼裏，京官是肥差，躬身於天子腳下，各項事務都極為方便。一天，好友劉覺香從外省來到京城，對曾國藩大談“做外官景況之苦”。其實，他根本就不了解京官的苦楚。曾國藩對此觸動很大，在當天的日記中寫道：“愈知我輩舍節儉，別無可以自立。若冀幸得一外官，以彌縫罅漏，缺瘠則無以自存，缺肥則不堪問矣，可不懼哉！”
這就是說，做地方官如果是肥缺，就會“常在河邊站，難免不濕鞋。”如果立誌不堅卓，極易成為貪官。如果是瘠缺，連生活都困難，更何以立誌、發達？這件事促使他更加珍惜自己的翰院生涯。
曾國藩在北京時期生活的清苦，還可以通過一件事情來佐證。
清道光十九年（1839年）冬，曾國藩準備赴京散館時，看到他的大舅江永熙“陶穴而居，種菜而食”，為之“惻然者久之”。臨別時，他的二舅江永燕對他說：“外甥做外官則阿舅來做燒火夫也”。他的三舅江永薰，親自送他到長沙，握著他的手說：“明年送外甥婦來京”，說罷淒然淚下。幾個舅舅樸實無華的品質以及他們家的貧寒景況均深深印記在曾國藩兄弟的頭腦之中，永遠難以忘懷。
後來，曾國藩身居高位之後，時常去信向舅舅問安或送以薄禮，或給予銀錢以周濟之。