自入仕途，他以孔孟入世救世，對自身的修養嚴厲酷冷，一絲不苟；對社會抱有“以天下為己任”的堅定胸懷。持身嚴謹，奮發向上，關心國事，留心民情，因而贏得君王信任和同僚的尊崇，十年京官春風得意。正是抱有這種信念，以一文官而白手建軍、治軍，五年來一身正氣，兩袖清風，出生入死。但是，為什麼皇上反而不信任自己？為什麼上至樞垣，下至府縣，都那麼忌恨自己？
為了解決這些問題，他日夜苦讀，甚至想過要遁入空門，直到他認真閱讀了以前看過但並不相信的《道德經》、《南華經》等老莊的著述，才找到了想要的答案。這些書雖講得是出世之學，但曾國藩重讀，卻為他的立身處世指點了迷津。同樣的處世之學，孔孟主張直率、誠實；而申韓（申不害、韓非）等法家卻主張以強碰強，硬對硬；老莊則主張以柔克剛、以弱勝強，“天下之至柔，馳騁天下之至堅”，“江河所以為百穀之王者，以其善下”。下反而是王，弱反而能強，柔則是至剛。把老子的言論對比自己過去的行事，曾國藩發覺自己處處直截了當，用的是儒家的至誠和法家的強權，表麵上痛快幹脆，似乎是強者，結果處處碰壁，實質上是失敗者，是弱者。到頭來弄得上上下下處處是敵人，前前後後處處是障礙。過去也知道“大方無隅”、“大象無形”、“大巧若拙”，但一直沒有真懂，所以自己的行事恰好似有隅之方，有形之象，似巧實拙。真正的大方、大象、大巧是無形無象、鬼斧神鑿的。“大柔非柔，至剛無剛”太妙了！讀到這裏、想到這裏，曾國藩如同從黑夜裏一下子走進了光明世界，豁然開朗。
自此之後，曾國藩行動做事，由前時的方正，變為後來的圓通。他自己承認，“昔年自負本領甚大，可屈可伸，可行可藏，又每見人家不是。自從丁已、戊午大悔大悟之後，乃知自己全無本領，凡事都見得人家幾分是處，故自戊午至今九年，與四十歲前迥不相同”。曾國藩這裏把家居的兩年自稱為“大悔大悟”之年，他自認為前後行事“迥然不同”了。
曾國藩大徹大悟後的巨大改變，使他的朋友都有所感覺。胡林翼就說他“無複剛方之氣”。出山之前，他對清廷上下的官場習氣很是反感，“與官場落落不合，幾至到處荊榛。”而再次出山之後“改弦易轍，稍覺相安。”其中原因人多不知，隻在他的至親密友中私下告知他自己學問思想方麵的變遷，行為處世方麵的變化。曾國藩個人對自己的“大徹大悟”既是痛苦的，又是滿得意的。苦在被迫放棄了自己前半生的信仰與行為，得意在畢竟發現了做人處世的“真正”秘訣——“大柔非柔，至剛無剛”。