數日後，曾國藩聽說在菜市口斬一位武臣，別人邀他一同看熱鬧，曾國藩“欣然樂從”，連殺人這樣的事都願看，曾國藩覺得自己成不了理學家，“仁心喪盡”，走在路上很後悔，但當著眾多朋友的麵又不好回去，因此“徘徊良久，始歸”。他說自己“曠日荒謬至此”。
曾國藩雖然沒有看斬殺武臣，但回去後卻怎麼也靜不下來。他又沒事找事似地，到雨三的家中，當時雨三本來很忙，但曾國藩東拉西扯，非要談談“渾”。《日記》說：“談次，聞色而心豔羨，真禽獸矣。”從雨三處出來，已是很晚，曾國藩仍不願回家，又到子貞家中，三更而歸。
曾國藩的妻子歐陽氏身體不是很好，時常患病。一次曾國藩參加進士同學的團拜，由於所拜之家鍾鳴鼎食、姬妾如雲，這使曾國藩“大開眼界”，他的“喜色”之心油然而生，東張西望，頗失大雅。《日記》說：“是日，日屢邪視”，“恥心喪盡”，當他悻悻然回到家中後，惶然不適。加之妻子鬧病，因此“入夜心情不暢，又厭聞呻吟聲”。白天的佳麗美景與病榻上的呻吟之聲反差如此之大，使曾國藩無法忍受，乃出門到朋友處聊天，“更初歸”：次日，妻子的病有所加重，曾國藩請吳竹如來診視，由於周身為私欲所填塞，曾國藩的理學功夫大減，一聽別人談論理學，感到隔膜不入。而用宴請吃酒之事打發時光，他倒很樂意。
湯鵬是他的好友，著有《浮邱子》一書，頗得曾國藩好評。道光二十三年（1843）二月的一天，曾國藩前往湯鵬家赴喜筵，席間見湯的兩個姬人，曾國藩故伎重施，“諧謔為虐，絕無閑檢。”曾國藩早期《日記》的類似記載不限於以上幾例。這說明血氣方剛，剛過而立之年的曾國藩也有七情六欲，也是一個正常人，他對女性充滿了愛，盡管這種“愛”是在性意識支配下的形而下之“愛”，但至少從一個側麵真實地反映了曾國藩的情感世界：他後來能夠大成功，就在於一改昔日所為，“截斷根緣，誓與血戰一番”。
曾國藩早年有“三大戒”，其中之一是戒色。他也認為，沉溺於此是妨礙事業的。他還認為，在外人麵前，夫妻間尤不能過分親密。雖然如此，曾國藩還是很難做到，罵自己是禽獸。
道光二十二年（1842）十月十五日，吳竹如來到曾國藩的寓所，與他久談，吳竹如講理學，並談自己的體驗，認為舍“敬”字別無下手之方，總以嚴肅為要。對比之下，曾國藩也明知“敬”字是吃緊下手處，然每日自旦至夜，行坐自如，總有放鬆的意思，及見君子時，又偏覺整齊些，是非所謂掩著者耶？日記曰：《家人》“上九”曰：“有孚威如。”《論語》曰：“望之儼然。”要使房闥之際、仆婢之前、燕昵之友常以此等氣象對之方好，獨居則火滅修容。切記，切記！此第一要藥。能如此，乃有轉機，否則，墮落下流，不必問其他矣。
曾國藩自己承認，“有用之歲月，半消磨於妻子”，三月初二日，“日中，閨房之內不敬。去歲誓戒此惡，今又犯之，可恥，可恨！竹如來，久談。久不克治，對此良友，但覺厚顏”。他說自己“明知體氣贏弱，而不知節製，不孝莫此為大”。
但隨著年齡的增長，曾國藩這方麵的“不敬”很快有了大的變化，成為莊重、詼諧而不失君子形象的一個人。曾國藩就是這樣，為了能他日有所作為，嚴格限製自己的情欲，甚至夫妻之間正常的情感交流都嚴加克製。在儒家老祖宗孔孟那裏，都承認“食色，性也”，但曾國藩認為，人的私欲、情欲一旦膨脹就難以收拾，終會妨礙大事業。他以後位及大臣，但堅決不納妾，生活作風上也嚴格自律，這是他不同於同時代的封建士大夫的地方，也是他精神品格上的突出之處。