於是綠營兵大恨曾、塔等人。
當時長沙城內，同時駐紮著兩種部隊：綠營兵與湘勇。綠營因戰鬥力差，頗受勇丁輕視，而勇丁的月餉，高出綠營兵二三倍之多，綠營兵也嫉憤交集。因此兵與勇時生摩擦。鮑起豹等人又從中挑撥，雙方愈來愈情同水火，漸至常生械鬥。
曾國藩起初本著“息事寧人”的態度，隻將參與械鬥的勇丁加以棍責，嚴行約束；綠營兵則置之不問。誰知這一來，正合了曾國藩的兩句話：“君子愈讓，小人愈妄。”綠營氣焰更盛，益發耀武揚威，公然淩辱勇丁了。曾國藩不得已而谘請鮑起豹按軍法整飭，鮑置之不理。綠營兵於是膽子更壯了。
1853年9月8日，綠營兵居然整齊隊伍，帶著兵器，鳴號擊鼓，包圍了參將府，要殺塔齊布。嚇得塔齊布躲在菜園旁邊的草叢裏，沒有被找到，才逃過一命。綠營兵找不到塔齊布，放把火把參將府燒了，又一窩蜂擁到團練大臣曾國藩的官邸，照樣團團圍住，揚言要殺曾國藩。幸而曾國藩的臨時行館設在緊靠巡撫衙門的射圃中。見事已急，乃親自去叩巡撫駱秉章的偏門，駱出來喝止，綠營兵才悻悻作鳥獸散。然而曾國藩所統率的湘勇，日子卻更難過了，進出城門的盤查斥罵，街頭的公然侮辱，甚至拳打腳踢，都是常事。有人勸曾國藩據實參奏鮑起豹等人，而曾國藩剛於不久前參革了副將清德，這時不便再動彈章，於是托言：“做臣子的，不能為國家平亂，反以瑣屑小事，使君父煩心，實在慚愧得很。”即日將所部湘勇分別遣駐外縣，自己的司令部也移駐於衡州。其實這也是曾國藩一貫所奉行的息事寧人、委曲求全的處世之道的體現。
曾國藩在與太平軍鬥爭的過程中，他的最大困難，不是敵手的強大，而是清政府本身在政治、軍事與財政各方麵，存在著太多的矛盾和弱點，不能形成強大的力量，與太平軍作戰。其次就是湘軍本身缺少戰鬥經驗，難當大敵。因此在以後的六七年中，曾國藩雖然為自己建立了一點聲望，而來自各方麵的挫辱和打擊，也不是常人所能忍受的。而在這種境遇下他能夠立足，主要就是他奉行了“息事寧人，委曲為官”的處世哲學。
這時又發生萬載知縣舉人彭壽頤因辦理團練不和，互相糾控一案。經曾國藩查得有受人賄賂，棄城逃走等罪；而彭壽頤卻為人剛直，辦理團練，也頗具才華。可是巡撫陳啟邁卻有意曲庇，而加罪彭壽頤。曾國藩也隻得委曲忍讓不想與陳發生正麵衝突，於是麵商陳氏，谘調彭壽頤至軍營效力。用意不過想藉此平息李、彭的控案，息事寧人，化紛爭於無形而已。
不料陳啟邁卻認為曾國藩幹涉了他的統轄權力，勃然大怒。不僅拒絕將彭壽頤調用曾營，反命按察使惲光宸將彭逮捕下獄，用刑逼供，坐以誣告之罪。這分明是要給曾國藩難堪了。曾國藩至此忍無可忍，也發了火，立即具折參了陳啟邁一本。羅列陳氏諸項劣跡，請旨懲處。這時江西、湖南、湖北三省地盤，清廷全仗曾國藩支撐。得奏不敢遲疑，立將陳啟邁、惲光宸先行革職；所參各案，著新任巡撫文俊查奏。
1858年6月，曾國藩被命再出，於江西領導湘軍作戰。湘軍之在江西，雖有守土卻敵之功，然與各地鄉團不相和睦，常常被團丁伏擊截殺，竟至數十數百地被消滅。又逢疫病流行，營中軍士紛紛病倒。因此曾國藩再至江西以後，深感諸多問題棘手。9月間，安徽傳來敗訊，李續賓、曾國華於三河鎮被陳玉成擊敗，全軍覆沒，李、曾以下，湘軍官兵陣亡六千餘人。這支軍隊是湘軍的精銳勁旅，被殲以後，全軍為之震動。景德鎮一帶的湘軍，也連連失利。幸賴曾國藩與胡林翼等竭力挽救，大局才得粗定。
而這時的曾國藩，忽而奉命援浙，繼又改令赴閩，不久又命籌援安徽。及石達開有由湘入蜀之勢，朝旨又令前赴四川夔州扼守，同時命其分兵協防湖南、安徽，並留兵防守江西。朝令夕改，雜亂無章，使曾國藩無所適從。他自知因無固定地盤，隻好由人擺布，委曲求全，精神極感苦惱。可見息事寧人的處世哲學也要付出精神痛苦的代價。
1861年8月，曾國荃攻下安慶，長江千裏，已全歸湘軍掌握。曾國藩分兵三路，直指江浙地區，準備給日漸衰微的太平軍最後致命一擊。可是曾國藩所遭遇的困難，仍是紛至遝來。先是最能與他合作無間的湖北巡撫胡林翼，積勞病死，頓使曾國藩失去一個最有力的夥伴，未免平添後顧之憂。曾國藩為之徹夜不眠。而三路東向的大軍，隻有曾國荃一軍，因為是親弟弟，始終聽命於他。其餘李鴻章與左宗棠兩路，都時時表現不合作的態度，使曾國藩傷透腦筋。但按曾國藩的為官之道，還是按捺性情，息事寧人，沒有激化矛盾。
曾國荃圍攻金陵的軍隊，雖未發生不聽指揮的問題，然而屯兵城下日久，師老兵疲，軍餉不繼，軍心士氣日漸渙散，也使曾國藩憂心忡忡，日夜焦灼。同治二三年間，金陵城外的湘軍，因為糧餉缺乏，每天喝稀飯度日，幾個月不發餉，更是常事。曾國荃對那些家鄉子弟兵，漸感難以約束。他們甚至發生把營官捆綁起來，勒發欠餉的暴行。至於搶掠平民、奸淫婦女的事，也層出不窮。曾國荃拿不出糧餉來解決問題，自感無顏以對部屬，隻好置之不問。消息傳到安慶、曾國藩一麵擔心弟弟的病體，不能支持，軍紀敗壞的湘軍，隨時有叛變崩潰的可能；一麵還要承受來自清廷的猜疑、言官的謗劾、僚屬的離心等等打擊。當時湘軍缺餉，不僅限於金陵的曾國荃軍。其餘各部也很嚴重。大營所設山內糧台，竟遭駐守附近的兩營湘軍的自行搶劫一空。曾國藩身體素來孱弱，至此鬱氣中結，舊疾新病，一齊並發，飯後嘔吐、牙痛、頭腦暈眩、手腳抽筋，痛不可忍，至於不能工作，逼得隻好奏請給假調養。
所以曾國藩曾說：“困心恒慮，正是磨練英雄，玉汝於成。李申夫嚐謂餘歎氣從不說出，一味忍耐，徐圖自強。”這句話體現了曾國藩在矛盾叢集、內憂外患的十分艱難的境況下的一種息事寧人、委曲求全的一種處世觀，而對於當時為官的他，可以說是無奈中的有奈。
三、人言可畏，省察輿論
一般而言，走向仕途的人要有一二賢者且居高位之人引之向上，仕途就會通達起來。但群眾基礎也很重要。雖然在隻對上負責的中國古代社會，群眾基礎不起決定作用，但僚屬的評價也勢關一個人的前程。尤其是人言可畏，不可不省。
曾國藩說：終身涉危蹈險，如履薄冰，卻能自全其身，自守其道，盡己之性而知天命，下學上達，這些都是阮籍為人處世最重要的原則。
曾國藩涉世很深，觀人極廣，謹慎異常。他曾經這樣說：
做官的人，比一般人辦事方便得多；做大官的人，往往他想都沒有想到，就已有人幫他把事辦好了。不僅他自己是這樣，就是他的家人往往也是一言九鼎，頤指氣使，翻手為雲，覆手為雨，無限風光盡被占。這就叫一人得道，雞犬升天。所以位高權重的人，就不能不對自己的行為特別小心，包括對自己家人的言語也當格外謹慎。
由於他的處境，他的身份，他的地位，他的為人，自然很多同鄉會去找他商量，一旦找他，也都是一些危急的事情，事情一危急，自然會有幾分棘手。曾國藩遵守的是祖父的做法：“銀錢則量力相助，辦事則竭力經營”。這是一種很智慧、很圓融、也不失體麵的做法。他也希望家人都這麼做，但有一條是不得違背的，那就是家人莫幹預公事。
早在道光年間，他就囑咐家人，千萬不能到衙門裏說公事。如果闖入衙門，一方麵有失鄉紳的氣度，一方麵也使曾國藩蒙受羞侮；一方麵會使地方長官難堪，一方麵也會被地方長官所鄙薄。所以即使自家有事，情願吃虧，千萬不可與他人構釁爭訟，以免被地方長官懷疑為仗勢欺人。
曾國藩深知曆史上許多高官敗在身邊人手上，所以當他的叔父打著他父親和他的旗號去幹預地方公事後，他立即寫信予以製止。並講了一番此乃敗家誤國的道理。最初，他的叔父不以為然，甚至有些氣憤，這時還是曾國藩的父親搬出“祖訓”來，曾國藩的叔父才收斂起來。
到曾國藩任兩江總督時，權勢更大了，曾國藩也更加謹慎。他在給曾國荃的一封信中寫道：
“捐務公事，我的意思是老弟絕不多說一句話為妙。大凡人官運極盛的時候，他們的子弟經手去辦公務也是格外順手，一唱百和，一呼百應。然而閑言碎語也由此而起，怨恨誹謗也由此而生。所以我們兄弟應在極盛之時預先設想到衰落之時，在盛時百事平順之際預先考慮到衰時百事拂逆之際。弟弟你以後到長沙、去衡州、回湘鄉應把不幹預公務作為第一重要的原則。這是為兄我閱曆極深之言，望弟千萬銘記在心。”
曾國藩畏天但不怕天，畏死但不怕死，他怕的就是他人的嫌疑、閑言和怨謗。他和曾國荃同領一個軍隊，這是一種很特殊的關係，一榮俱榮，一損俱損，曾國藩尤其謹慎。他對弟弟說，我出任地方官，如果僅帶一個親弟弟在身邊，那麼好事未必見九弟之功，壞事必專指九弟之過，不可不慎。如何處理這種關係呢？曾國藩寫了一副對聯與弟弟共勉：
為平世之官，則兄弟同省，必須回避；
為勤王之兵，則兄弟同行，愈覺體麵。