1851年太平軍起義爆發，鹹豐二年（1852年），曾國藩的母親去世，曾國藩回到家中為母親守喪。當時太平軍橫掃湘鄂，形勢嚴峻，朝廷下了要他幫辦湖南團練的諭旨。這就為曾國藩的湘軍的出現，提供了一個機會。鹹豐三年（1853年）曾國藩在其家鄉，依靠師徒、親戚、好友等複雜的人際關係，建立了一支地方團練，稱為湘軍。而正是這支湘軍為平定太平天國運動立下了汗馬功勞，曾國藩也被清王朝封為一等勇毅侯，成為清代以文人而封武侯的第一人，後曆任兩江總督、直隸總督，官至一品，死後被諡“文正”。
曾國藩一生功過，讓人爭論不休。他率領湘軍在 1863年攻下南京後，可以說已經控製了全國最大的軍事力量，就軍事實力而言，他比清政府已經超出了很多，若曾國藩振臂一呼，也許就可以從滿族人手中奪回統治權，而且曾國荃、彭玉麟等十餘名湘軍大將也曾聯名上書對曾勸進。曾國藩手書對聯“倚天照海花無數，流水高山心自知”，表示自己無意造反。那麼曾國藩為什麼不造反？他又是如何表明自己心跡的呢？
曾國藩不造反的最大原因是他腦中根深蒂固的忠君思想。他深受晚清理學大師唐鑒的影響，操練兵馬的目的相當明確：一是保衛明學理教，二是保衛地主階級的利益，三是保衛清朝廷。他的個人追求是做一個中興之臣，封侯拜相，光宗耀祖。曾國藩學習孜孜不倦，苦讀日夜不息，深受中國傳統儒家思想影響，是“修身、齊家、治國、平天下”的典型知識分子。他認為“功不必自己出，名不必自己成”，“功成身退，愈急愈好”。曾國藩認為“人生有窮達，知命而無憂”。這些是他成為晚清中興名臣的思想基礎。
其次，清政府對曾國藩早有防範。鹹豐四年（1854年）七月曾國藩打下嶽州府，這是一個很大的勝利，朝廷隻賞他一個三品頂戴。曾國藩那時已經是二品官，創立湘軍，打下嶽州府，立了很大的功勞，朝廷反而給他三品官的賞賜。鹹豐四年八月打下武漢，朝廷首先一道命令，叫他代理湖北巡撫。有大臣密奏“匹夫一呼百應，非朝廷之福”，於是，隻有七天，朝廷將剛剛封曾國藩的湖北巡撫撤掉。然後給他一個兵部侍郎銜。其實這個官職對他毫無意義，多年前他即官居此位了。
湘軍攻陷天京後，清政府不允許曾國荃八百裏紅旗報捷，繼而又賴掉鹹豐帝“取江寧者封王”的許諾，隻給了一等侯的爵位，同時還追究幼天王洪天貴逃脫的責任。並且在天京周圍布下滿蒙重兵，科爾沁親王僧格林沁的騎兵部署。
曾國藩像
在中原河南腹地，這支部隊不同於八旗兵，戰鬥力極強，監視東南，也使曾國藩不敢輕舉妄動。湘軍內部，李鴻章淮軍勢力早在太平天國未滅之前就獨樹一幟了，左宗棠自立楚軍。打下天京後，湘軍士兵人心思歸，他們的戰鬥力受到了很大削弱。很重要的一點是外國在華勢力決定扶持清政府，經曆了兩次鴉片戰爭的曾國藩深知外國堅船利炮的威力，一旦起兵而得不到外國勢力的支持，勢必將自己置於危險的境地。
為了消除朝廷的戒心，曾國藩采取了一係列措施表明自己的心跡。他先是把攻陷天京的功勞歸之於先帝、太後和朝廷，歸之於共同作戰的友軍。他在給朝廷的報告、給別人的信件中，反複講到這個事情，說這是朝廷裏太後的功勞，軍機處的功勞，朋友們的功勞，我自己沒有什麼功勞。並且動員牢騷滿腹企圖反叛的九弟辭職回家養病。他還請示朝廷，要求大量裁減湘軍，在得到批示後，他將90%的湘軍裁掉。湘軍成立初期，因為沒有軍餉，於是他們沿途設卡，靠收買路錢來保證軍餉，攻陷天京後，曾國藩立即裁撤厘金局，不再為湘軍自謀軍餉。就這樣，曾氏及其代表的湘軍集團，較為平安地度過了表麵風光、內裏危機四伏的政治險灘。
曾國藩的這一抉擇，在客觀上對維護國家統一，抵禦外強侵略起到了積極作用。當時，太平天國首都天京被攻陷後，尚有餘部 30萬人活動於各地，北方的東西撚軍方興未艾。在國內動亂頻仍，國外列強環伺中華，虎視眈眈，內憂外患之際，如果曾國藩趁機稱帝，戰亂又起，中國的統一的前途和命運又會經曆更多磨難，人民會再度陷入水深火熱之中。因此，可以說曾國藩正是憑著自己的文化底蘊、道德原則和政治智慧在人生功名道路上做了一次智慧的選擇。