當太平軍進攻廬州時，江忠源已經危在旦夕了，曾國藩還是拒絕出征，僅僅隻派劉長佑和江忠睿率領1000名新勇士由陸路趕去支援。結果江、吳二人先後兵敗自殺。這對曾國藩是個沉重的打擊。江忠源在曾國藩諸門生中，辦團練最早，最有實戰經驗，同時也任職最高，最得清政府的信任。曾國藩曾打算練勇萬人交江忠源指揮，完成鎮壓太平天國革命的重任，而自己隻在後方辦理練兵籌餉等事。沒想到還沒有到出征的時候江忠源就斃命，這無異於砍去曾國藩的左膀右臂，使他明知自己不善帶兵而又不得不親自出征。吳文鎔的死對曾國藩打擊更甚，吳文鎔任湖廣總督，既是曾國藩的老師，又是他強有力的後台。若吳文鎔仍然還活著的話，處處有人幫他說話，也許不至於讓曾國藩陷入後來那樣的政治困境之中。從這裏可以看出吳文鎔對曾國藩的幫助有多重要。
可以看出來，曾國藩一再堅持不輕易出省作戰的方針是正確的，雖然說他贏得了充分的時間來做準備，為他以後軍事勝利打下了基礎，但是同時他也付出了很大的代價。這是曾國藩不同一般曆史人物的地方。曾國藩深通天道盈縮、洪荒變換的道理，他常常告誡諸將說：寧可好幾個月不開一仗，絕不可以開仗而毫無安排、準備和算計。凡是用兵的道理，本來力量強而故意顯示給敵人以懦弱的多半會打勝仗，本來力量弱小而故意顯示給敵人以強大的多半會打敗仗；敵人向我進攻，一定要仔細考察衡量而後應戰的多半會打勝仗；隨意而沒有仔細考究衡量，輕率地發兵向敵人進攻的多半會打敗仗。兵者是不得已而用之的，應常常存留著一顆不敢為先之心，必須讓對方打第二下，我才打第一下。與強悍敵人交手，總要以能看出敵人的漏洞和毛病為第一重要的道理。如果在敵方完全沒有漏洞、毛病，而我方貿然前進，那麼在我方必有漏洞和毛病，被對方看出來了。不要乘自己有急躁情緒的時候，不要為大家的議論所動搖，自然能夠瞄準敵方可破的漏洞。他的這種軍事計謀不但值得我們今天的人去研究，而且為我們留下了一筆不朽的“財產”。
1854年初，湘軍組成陸軍十三營，水師十營，共一萬七千多人，會集湘潭，準備同年正式出師與太平軍作戰。曾國藩以自己的名義，發出了一道檄文，誣稱太平天國為“粵匪”，說他出來鎮壓革命，不僅是為了保衛清王朝，而且是為了保衛整個的舊傳統。他號召一切“讀書識字者”要為維護以孔孟為代表的名教而戰。
曾國藩實踐了自己所說的諾言。1854年他率領湘軍在湖南、湖北對太平軍進行瘋狂的反撲。12月，湘軍進圍九江，形勢對太平天國很不利，曾國藩得意忘形地叫嚷：“肅清江麵，直搗金陵”。為了扭轉這種被動局麵，太平天國派石達開等率軍西援，在湖口、九江戰役中，痛殲湘軍水師。開始，湘軍初戰，連敗於嶽州（今湖南嶽陽）、靖港，曾國藩為此憤不欲生，投水自殺，被其左右救起。後重整軍實，複占嶽州，攻陷湖北省城武昌，奉詔署湖北巡撫。此後用兵更為謹慎。旋因朝廷恐其於地方勢大，又被解署任，以後長期隻以侍郎虛銜領兵。1855年2月11日，太平軍放火焚毀停泊在江麵的湘軍大船百餘艘，奪得曾國藩座船，曾國藩在走投無路的情況下，投水自殺，被嘍羅救起，倉促逃入南昌，陷入到太平軍的包圍之中，使他“呼救無人”，“夢魂屢驚”。
次年9月，督其弟曾國荃攻陷安慶。11月，加太子少保銜，奉命統轄江蘇、安徽、江西、浙江四省軍務。向朝廷舉薦左宗棠督辦浙江軍務、李鴻章出任江蘇巡撫。1862年，以安慶為大本營，命令曾國荃部沿江東下，直逼天京；命左宗棠部自江西進攻浙江；命李鴻章部自上海進攻蘇南，對太平天國實行戰略包圍。10月，湘軍與李秀成等部數十萬太平軍在天京城外激戰，持續圍困天京。至1864年7月，終於攻破天京城池，完成對太平天國起義的鎮壓。朝廷褒功，封曾國藩為一等毅勇侯，加太子太傅，賞雙眼花翎。
1865年5月，曾國藩奉命督辦直隸（約今河北）、山東、河南三省軍務，鎮壓撚軍。他駐營徐州，先後采取重點設防、憑河築牆、查辦民圩的方略，欲在黃河、淮河之間，運河以西，沙河、賈魯河以東的區域殲滅撚軍，因師久無功，次年冬清廷改派李鴻章接替，命其回兩江總督本任。1867年，調任直隸總督。1870年6月21日，天津發生教案，天津數千名群眾因不滿法國天主教堂拐騙人口、虐殺嬰兒，群集在法國天主教堂前麵，怒斥侵略者的殘暴罪行。法國領事豐大業認為官方沒有認真彈壓，持槍行凶，他在街上碰到天津知縣劉傑，又向他開槍射擊，當場擊死劉傑仆人一人，激起群眾更大的義憤，群眾當場毆斃豐大業，放火燒毀教堂。事件發生後，英、美、法等國聯合提出抗議，並出動軍艦逞威。曾國藩回天津後，按照他向來媚外方針，奉命前往查辦，屈從法國勢力，處決、遣戍官民數十人，先後有二十名中國人，無辜慘遭殺戮，二十五人充軍（天津地方官也被革職充軍）。曾國藩的賣國行徑，引起全國朝野的唾罵，連他的湖南同鄉，也把他在湖廣會館誇耀其功名的匾額砸爛焚毀，他自己則在人人皆說可殺的責罵聲中可恥地死去。並受到社會輿論譴責。9月，還任兩江總督。