湯鵬是他的好友，著有《浮邱子》一書，頗得曾國藩好評。道光二十三年（1843）二月的一天，曾國藩前往湯鵬家赴喜筵，席間見湯的兩個姬人，曾國藩故伎重施，“諧謔為虐，絕無閑檢。”曾國藩早期《日記》的類似記載不限於以上幾例。這說明血氣方剛，剛過而立之年的曾國藩也有七情六欲，也是一個正常人，他對女性充滿了愛，盡管這種“愛”是在性意識支配下的形而下之“愛”，但至少從一個側麵真實地反映了曾國藩的情感世界：他後來能夠大成功，就在於一改昔日所為，“截斷根緣，誓與血戰一番”。
曾國藩早年有“三大戒”，其中之一是戒色。他也認為，沉溺於此是妨礙事業的。他還認為，在外人麵前，夫妻間尤不能過分親密。雖然如此，曾國藩還是很難做到，罵自己是禽獸。
道光二十二年（1842）十月十五日，吳竹如來到曾國藩的寓所，與他久談，吳竹如講理學，並談自己的體驗，認為舍“敬”字別無下手之方，總以嚴肅為要。對比之下，曾國藩也明知“敬”字是吃緊下手處，然每日自旦至夜，行坐自如，總有放鬆的意思，及見君子時，又偏覺整齊些，是非所謂掩著者耶？日記曰：《家人》“上九”曰：“有孚威如。”《論語》曰：“望之儼然。”要使房闥之際、仆婢之前、燕昵之友常以此等氣象對之方好，獨居則火滅修容。切記，切記！此第一要藥。能如此，乃有轉機，否則，墮落下流，不必問其他矣。
曾國藩自己承認，“有用之歲月，半消磨於妻子”，三月初二日，“日中，閨房之內不敬。去歲誓戒此惡，今又犯之，可恥，可恨！竹如來，久談。久不克治，對此良友，但覺厚顏”。他說自己“明知體氣贏弱，而不知節製，不孝莫此為大”。
但隨著年齡的增長，曾國藩這方麵的“不敬”很快有了大的變化，成為莊重、詼諧而不失君子形象的一個人。曾國藩就是這樣，為了能他日有所作為，嚴格限製自己的情欲，甚至夫妻之間正常的情感交流都嚴加克製。在儒家老祖宗孔孟那裏，都承認“食色，性也”，但曾國藩認為，人的私欲、情欲一旦膨脹就難以收拾，終會妨礙大事業。他以後位及大臣，但堅決不納妾，生活作風上也嚴格自律，這是他不同於同時代的封建士大夫的地方，也是他精神品格上的突出之處。
曾國藩為了實現“澄清天下之誌”，針對自己的不良習慣，他提出三戒：一戒吃煙，二戒妄語，三戒房闥不敬，後來都做到了。
吸煙有害健康是今天人人皆知的常識，但吸煙對人的精神有影響，就不是人人明了的。曾國藩通過自己的切身感受告訴人們這樣一個道理。曾國藩認識到，應酬過多，精神就難以集中，做起事來也會出差錯。此外，吸煙也對此有很大影響。他說：精神要常令有餘，做起事來才能精氣十足而不散漫。“說話太多，吃煙太多，故致困乏。”
意識到危害後，他發誓從道光二十二年（1842）十月起戒煙，並作為“三戒”之一。但最初戒煙日子很不好過。為了打發難熬的時光，他找朋友們下棋、聊天。日記中寫道：“即宜守規敬事，乃閑談荒功，不溺情於弈。歸後數時，不一振刷，讀書悠忽，自棄至矣：乃以初戒吃煙，如失乳訪徨，存一番自恕底意思。此一恕，天下無可為之事矣。急宜猛省。”曾國藩把初次戒煙喻為嬰兒斷乳，形象地說明了他對吸煙的溺愛及戒煙的痛苦。
“三戒”之外，還有“一戒”，曾國藩沒有戒成，這就是戒圍棋。
曾國藩早年即有弈棋之好，同年好友聚在一起，往往先要弈棋幾局，隨後飲酒暢談。但下棋須精神貫注，因此，很耗心血，往往幾局結束，身體不能自如。曾國藩意識到此，決心把圍棋也戒了，但幾次戒也戒不成，有時觀看別人下棋，大聲嚷臂，“幾欲自代”，這頗有點侯寶林大師相聲中所說的味道。
曾國藩平日也有自己的興趣和愛好。他時不時去慶和園、天和館聽聽戲，去琉璃廠逛街、購書買紙，“正業”之餘也讀點《綠野仙蹤》、《龍威秘書》之類的“野書”。不過，下棋的嗜好，還是令曾國藩傷透了腦筋。照他自己的話說，即“溺情於弈”。曾國藩下棋始於何時，無從得知，但自入翰苑，經常為圍棋所困，京中同僚友人如劉穀仁、何子敬、何子貞、黃鶴汀、湯海秋、毛寄雲、朱廉甫、徐石泉、郭雨三、鄧雲陔等，都是他的棋友，隔不了幾天，總要對弈幾局。
沉溺於圍棋，不僅有礙於進德修業，而且頗耗精力，友人勸他戒棋，他也橫下心戒。1844年（道光二十四年）6月8日《日記》寫道：“夜，與筠仙圍棋二局，頭昏眼花，以後永戒不下棋也。”誰能想到這次“永戒”竟沒隔一日就破戒了。6月9日與“筠仙圍棋，複蹈昨日之轍”，10日與“黃鶴汀圍棋”，12日“飯後與筠仙對弈”。國藩很講究養生之道，身體略感不適，便想到戒棋。6月20日，三度下決心戒棋。本日《日記》說：“徐石泉來，與同圍棋數局。石泉去而餘頭昏眼花，因戒永不下棋。誓曰：如再下棋，永絕書香也。”既發惡誓，決不能再做“小人”，曾國藩忍了很長一段時間沒有下棋，至少《日記》沒有記載。可是直到出京，終沒有戒掉。至於後來，無論在軍旅，還是在總督任內，圍棋仍然是他日常生活的一部分，而且越下越凶，每日非一二局不可，直到去世。曾國藩作為一個有毅力的人，一向做事有恒，惟獨圍棋立了多少惡誓硬是戒不了，走不出“圍城”，連曾國藩自己也弄不明白何至於此。實際是圍棋能緩解緊張的一種精神“轉移法”。