曾國藩是時勢造就的英雄，湘軍是時代的產物。團練雖然早就已經存在了，但真正走向前台，成為一支舉足輕重的戰略力量，卻是在太平天國運動時期。曾國藩和湘軍之前的團練武裝，僅限於在各個地區清查戶口、維係治安，不過是保甲製度在功能上的延伸，從來沒有大規模招募和正規化訓練的先例，更不用說獨當一麵、出省作戰（哪怕是越出本府本縣的防區）了。傳統的團練對付以前的農民起義甚至川楚白蓮教起義，都是小菜一碟，他們可以有效地協助綠營兵作戰，但對太平軍則無能為力。曾國藩早就指出，傳統的團練是對付“流寇”的，而太平軍不同於傳統意義上的“流寇”，而是“竊號之賊”，它具有組織嚴密、作戰勇敢的龐大軍事力量；有牢固的固定的控製區域；有可以和北京清廷政權相抗衡的天國政權，這些都是以前的“流寇”所不能相比的。在太平軍麵前，清政府的經製兵——八旗和綠營已經不堪使用也不敷使用，旗綠諸將畏敵如虎，或者望風而逃，或者臨敵即潰。太平軍從永安突圍一路打到南京，都沒有遇到像模像樣的攻擊。倒是江忠源率領為數不多的楚勇在蓑衣渡一戰讓太平軍吃了一個大虧，並迫其改道而進。
太平天國是一麵鏡子，它在照出清軍的腐朽無能的同時，也照出了勇營的大有可為。但凡有識之士，都可以看出，隻憑改造八旗和綠營已經不可能、也來不及撲滅太平天國點燃的熊熊烈焰。形成鮮明對比的是，在團練基礎上發展起來的勇營武裝，既有虎虎朝氣，又有著許多經製兵所不具備的優勢。特別是曾國藩一手訓練出來的湘軍，竟然抵擋住了風頭正勁的太平軍西征軍，並一舉殺出兩湖，儼然形成了“踞上遊之勢”直下南京的局麵。
如果說太平天國起義的爆發以及它不同於以往農民起義的特點促成了湘軍的產生，那麼太平軍在長江中下遊地區對綠營主力部隊的毀滅性打擊，同樣在客觀上幫了曾國藩和湘軍的大忙，使他們從戰略助攻部隊變成了戰略主攻部隊。
從金田起義開始，一直到江南江北大營第二次被打破，綠營始終是追擊和圍困太平軍的主力，也是與太平軍精銳交戰的急先鋒。1853年，太平天國定都南京（改名為天京）後，江南大營、江北大營一直集中了綠營最為精銳的部隊。太平天國在北征、西征時，都不得不對插在兩肋的這兩把利劍有所忌憚。直到1860年，這股威脅才被徹底清除。這年春，天國的領袖們為了徹底解除清軍對天京的包圍，組織了第二次攻破江南大營之役。洪秀全親自召開了軍事會議，與幹王洪仁玕、陳玉成、李秀成等共同商定破敵之策。會後，李秀成依據幹王製定的“圍魏救趙”之計，千裏奔襲杭州，攻敵必救，誘使江南大營分兵救援。清軍果然中計，派兵往救杭州。不料李秀成已經星夜間道返回天京，與陳玉成等部太平軍乘敵之虛發起猛烈進攻，一舉攻破江南大營，使這把插在天京近邊的利劍灰飛煙滅。一時間，數萬綠營官兵或死或降，清政府寄予厚望的綠營主力一夜之間損失殆盡。
此前，湘軍在長江中遊取得一係列勝利後，雖然受到清廷的重用，但它作為“體製外的軍隊”，始終沒有被清政府納入最可依賴的範圍。清政府的如意算盤是，由湘軍在長江中遊與太平軍鏖戰，而讓綠營在南京地區集結，這樣硬仗由湘軍來打，勝利果實由綠營來摘取。不料，湘軍雖然中遊的戰事幾經曲折，但能打硬仗的湘軍終於越打越強，逐漸占了優勢；綠營雖然由國家大力供養和扶持，卻是扶不起的阿鬥、糊不上牆的爛泥，江南、江北大營兩次被太平軍擊破。特別是江南大營慘敗後，清政府已經很難迅速組織起有力的反攻力量，隻能把鎮壓太平天國的希望寄托在湘軍身上。
曾國藩和左宗棠、胡林翼等人也都敏銳地意識地到了這一點。左宗棠在湖南聽說這一消息後，禁不住感歎：“天意其有轉機乎！”身邊人問他為什麼，他說：“江南大營將蹇兵罷，萬不足以討賊，得此一徹底洗蕩，而後來者可以措手。”這“後來者”自然當仁不讓地是指湘軍了。果然，朝廷很快發來了上諭，任命曾國藩署理兩江總督，全權負責長江中下遊的“剿匪”戰事。由此，曾國藩與湘軍步入了一個全新的發展階段。