曾國藩剛辦團練的時候，從各省調來的綠營兵有數千人，人員冗雜，良莠不齊，實在難以管理。按照慣例，訓練綠營兵原本是提督的職責，但是湖南提督鮑起豹無能，難以勝任，曾國藩便親自選拔人才，選中中軍參將塔齊布統一訓練綠營兵。
曾國藩對於訓練的要求十分嚴格，眼裏不揉一粒沙子。不管是暴曬雨淋還是飛雪連天，每一天的操練任務都不得減少。這樣近乎嚴苛的訓練方式自然難不倒平日裏麵朝黃土背朝天的鄉勇，但是對於從來沒有作戰經驗，整日隻知道喝酒、賭錢、抽鴉片、逛窯子的綠營兵來說則算得上是魔鬼訓練了。於是反抗的聲音越來越大，先是副將清德拒不到操，後來提督鮑起豹也和清德聯合起來，向塔齊布尋釁鬧事，阻撓訓練，他們還公然對士兵宣稱：“如此酷暑天氣，還讓士兵們出操，這根本就不把我們將士們當人看啊！”綠營兵的不滿情緒被很快煽動起來了。
當時，綠營兵因為缺少戰鬥經驗，名聲又差，通常被勇丁視為敗類。勇丁的軍餉也要高出綠營兵兩三倍，兩種矛盾加在一起，更加引起了綠營兵的不滿。摩擦矛盾本來就時常發生，這次綠營兵剛好借著不滿情緒再一次提起了這新賬舊賬，矛盾進而引發成為械鬥。
事情很快被曾國藩知道了，他本不想把事情鬧大，想想還是息事寧人算了，這樣可以盡量減少對操練的影響，所以他決定隻將參與械鬥的勇丁施以杖刑，並嚴加管束他們的言行，對綠營兵就暫時不予懲治。沒想到這樣的做法不僅沒有使綠營兵知錯悔改，反而助長了他們的氣焰，他們越發地在勇丁麵前耀武揚威、出言不遜了。曾國藩多次命令鮑起豹按軍法整治，鮑起豹總是置之不理。
綠營兵的惡劣行徑在沒有得到管束的情況下愈演愈烈。1853年9月8日，綠營兵居然整齊隊伍，攜帶兵器，鳴號擊鼓，包圍了參將府，要殺塔齊布。驚慌之中的塔齊布隻得躲在菜園旁邊的草叢裏才沒有被找到，幸而逃過一命。囂張的綠營兵得寸進尺，竟然一把火把參將府燒了，然後又衝入團練大臣曾國藩的官邸，將正在辦公的官員們團團圍住，揚言要殺曾國藩，幸而曾國藩的臨時行館設在緊靠巡撫衙門的射圃中。曾國藩見事情已經鬧到了這樣的地步，並且絲毫沒有緩和的餘地，便親自去叩巡撫駱秉章的偏門，駱巡撫立刻出來喝止，這才退去了綠營兵。經過這麼一鬧，綠營兵更加無法無天了，曾國藩所統率的湘勇，日子卻更難過了。
有人極力勸說曾國藩，應據實參奏鮑起豹等人。但是曾國藩考慮到他前不久才參革了副將清德，這時不便再動彈章，於是對外托言：“做臣子的，不能為國家平亂，反以瑣屑小事，使君父煩心，實在慚愧得很。”即日將所部湘勇分別遣駐外縣，自己的辦公大營也移駐於衡州。由此可見曾國藩的胸懷和氣度。他在個人的利益受到威脅的時候，並沒有采取強硬手段，而是從大局出發，保持清醒的頭腦來處理這件事情，如果一味革除鮑起豹等人，不僅不能解決問題，反而讓綠營兵師出有名，矛盾隻能進一步激化。曾國藩深知，眼前最關鍵的問題不是爭出個誰強誰弱，真正操練出訓練有素、驍勇善戰的將士才是正要。曾國藩看似軟弱的退讓，實際上正是解決問題的關鍵。
1858年6月，曾國藩奉命在江西領導湘軍作戰，但是因為湘軍是外來兵種，當地鄉團十分排斥，所以經常遭到伏擊，加上敵軍在此地勢力強大，安徽六千精銳慘遭敗績，就連將領也陣亡了，景德鎮一帶的湘軍又接連失利。麵對這樣的窘境，曾國藩甚是苦惱，原本就是一籌莫展，湘軍又接到了新的命令——增援浙江和安徽，這個任務還沒有完成，不久又被要求協防湖南，麵對這種朝令夕改、雜亂無章的情況，曾國藩隻得一忍再忍。
1861年8月，曾國荃終於攻下安慶，長江流域千裏均歸湘軍掌握。曾國藩分兵三路，直指江浙地區。原本以為曾國藩迎來了朝陽，可是沒想到考驗再一次紛至遝來。先是湘軍重要將領胡林翼積勞成疾，在武昌咯血而死，使曾國藩失去一個最有力的夥伴；後又因為三路東向的大軍，隻有弟弟曾國荃一軍始終聽命於他，其餘李鴻章與左宗棠兩路，總是與曾國藩的意願背道而馳，經常表現出不合作的態度，使曾國藩傷透腦筋。但曾國藩經過幾十年的曆練，已經深諳為官之道，因此隻是按捺性情，息事寧人，始終沒有激化矛盾，隻是尋找柔和平靜的方式解決問題。
禍不單行，正在曾國藩為他所帶領的湘軍的艱難處境一籌莫展之時，弟弟曾國荃圍攻金陵的軍隊也出現了很大的問題。雖然士兵們並沒有出現明顯的反抗和不聽指揮的舉動，但是在金陵城外屯兵日久，將士們身心俱疲，加上軍餉虧缺，甚至一度靠喝稀飯度日，軍心渙散一日勝過一日。曾國荃也感覺到這些曾經一起出生入死的家鄉子弟兵越來越難以管束，搶掠平民、奸淫婦女的事層出不窮，但身為將領，他也無力解決糧餉的問題，所以自己也無顏麵對眾將士，不久，自己也病倒了。
曾國藩聽說金陵的情況後，一麵擔心弟弟的病體，擔心軍紀敗壞的湘軍隨時有叛變崩潰的可能；一麵還要承受來自朝廷的猜疑、僚屬的離心等等打擊，沒過多久，身體便出現了嚴重的問題，開始隻是鬱氣中結，舊疾新病，時常並發，後來是飯後嘔吐、頭腦暈眩、手腳抽筋、痛不可忍，以至於無法繼續工作，無奈之下隻好奏請朝廷，回家調養。但是在曾國藩看來，這正是一種考驗，他說：“困心恒慮，正是磨煉英雄，育汝於成。夫嚐謂餘歎氣從不說出，一味忍耐，徐圖自強。”
在如此矛盾叢生內憂外患的情況下，曾國藩依然能夠做到如此隱忍，可見他異於常人之處了。