曾國藩大膽改革傳統兵製，他“以禮治軍”“勤恕廉明”，加強對軍隊的思想教化和控製，所組建的湘軍“赤地立新，特開生麵”，走出了傳統團練的窠臼，開創了中國軍隊走向近代化的先河。
“曾剃頭”辦團練
團練源於唐德宗年間。當初的統治者把鄉民組織起來形成地方性的地主武裝。這種武裝形式很靈活，有戰爭的時候奉命出征，沒有戰爭的時候就回府務農。玄宗用募兵製代替府兵製之後，兵農分離，但各藩鎮仍然延用團練的辦法。清代前期，團練的情況也存在，但是大多是時聚時散。嘉慶年間，苗民在貴州、湖南兩地發生暴動，鳳凰廳同知傅鼐“乃日招流亡，附郭棲之，團其丁壯，而碉其要害，積十餘碉則堡之”，後來平定苗疆時，團練的兵力和碉堡的戰術發揮了很大的作用。後來，白蓮教教徒起義，白蓮教運動波及四川、湖北、河南、陝西、甘肅等省，持續了將近十年的時間。德楞泰和明亮上奏皇帝，請求用鄉勇和碉堡如法炮製，嘉慶帝發布詔書命各地都用此方法，最後才鎮壓了白蓮教起義。
因為以往有鎮壓白蓮教起義的成功經驗，所以當太平軍興起時，鹹豐帝在積極布防的同時，還發布上諭要求各省團練鄉民，企圖使八旗兵和綠營兵在內的正規軍與團練鄉勇密切配合，一起鎮壓太平軍的起義，於是在全國就掀起了第一個辦團練的浪潮。由於丁憂或請假在籍的官吏對地方的情況較為熟悉，清廷就委派他們與地方督撫配合行動。前刑部尚書陳孚恩是被任命的第一個團練大臣，時間在鹹豐二年八月，曾國藩就是第二個團練大臣，時間在這年十一月。接著這年十二月到鹹豐三年二月，在僅僅幾個月的時間裏，累計任命了四十九名團練大臣。鹹豐十年（公元1860年），太平軍消滅了江南大營，清廷進一步意識到必須依靠地主武裝才能取得勝利，在全國各地辦團練的第二次浪潮又興起了，清廷又先後任命了四十三個團練大臣。這九十二人中，官職由高到低，自前尚書至已革總兵不等，分布在十六個省份。由此可見清廷如何重視辦團練事宜。
曾國藩上任後所做的第一件事就是嚴厲打擊民間暴動，原因是隨著日益擴大的太平軍勢力，湖南境內各會黨趁此機會紛紛湧出，平日受盡官吏欺壓的百姓為反抗官府也都趁機組織了起來。是時，太平軍雖已離開長沙，但揮師湖南是隨時都有可能的事情，到時候湖南境內的各股反抗力量與太平軍部隊相結合，清政府在湖南的統治就將宣告結束。而且，即使太平軍還沒有進攻到湖南，各地民間組織的武裝暴動也擾亂了整個湖南官場，讓官員們惶惶不可終日。此時的曾國藩，一麵招募兵勇進行訓練，一麵集中兵力鎮壓各地起義，他還沒有足夠的實力與太平軍對陣。
就是在這種形勢下，曾國藩擔任了湖南省團練大臣，而後，他又在省城長沙設立了審案局，招募勇丁，揭開了鎮壓太平天國運動的序幕。
鹹豐二年十二月十七日，曾國藩與郭嵩燾從家鄉動身前往省城長沙，途經湘鄉縣城時，又接到湖南巡撫張亮基征調湘鄉練勇一千名赴省城的紮令。正好這一千練勇由曾國藩帶走，湘鄉的歲澤南、劉蓉、王錱、朱孫詒也隨曾國藩而去。這些人便是曾國藩初辦團練的班底。
鹹豐二年十二月二十二日，曾國藩一行率帶一千湘鄉練勇趕至長沙。
未進城時，早有江忠源、左宗棠率帶楚勇和鄉紳及昔日嶽麓書院的一班同學、同鄉前來迎接。
來至巡撫衙門，張亮基在大開的中門外帶領省署諸班官員大張旗鼓，迎接曾國藩一行的到來。從此，曾國藩以一文員侍郎之身分，開始了軍伍生涯。
第二天，曾國藩即向皇上呈遞奏折，要求在長沙建大團，成一勁旅，以剿滅“洪楊發匪”。
不久，便有五百裏加急信馬報達，鹹豐親批朱愉：“悉心辦理，以資防剿。”隨後即把帶來的一千團丁編為兩營，由羅澤南、王錱各帶一營。從中抽調八十名精悍，組成親兵隊，由曾國葆統帶。又組織一幫人馬，十餘名委員，在緊挨巡撫衙門的魚塘口，新開了一個衙門，招牌上寫著“湖南審案局”。委托過去嶽麓書院的同窗，在籍江蘇候補知州黃廷瓚負責。
初來長沙，曾國藩對未來的發展並無多大成算。自己上報給皇帝的奏折，要在長沙成一勁旅，與太平軍對抗。但實際上，皇帝的原旨是讓他到省城幫辦湖南團練事務。團練並非正規部隊，其職守也隻是“幫辦”，歸根結底是幫著省裏維持地方治安，關鍵之時率帶團練守衛地方。因此，曾國藩初來長沙的差使是對付地方的小股暴動。