曾國藩辦事講究條理，往往從最根本處講求。讓一個身帶墨孝的人出入鄉紳富戶之家，是對先人不孝，對他人不恭，況且，他的“人力資源”對於籌集餉項可以說沒有大補。但是曾國藩又是一個有責任感的人。他對劉蓉說：“國藩居湘鄉之土，為湘鄉之民，義不可不同心合力保護桑梓，擬於百日之後前赴縣門，以明同舟共濟之義。”隨即提出自己的意見：“鄙意以為壯勇貴精而不貴多，設局宜合而不宜分”，認為“但得敢死之士四百人，則固可以一戰。”
十二月十五日，曾國藩又給他的內兄歐陽秉銓寫去一信，請他前往京城，幫助將家眷接回湘鄉，他還說自己在家服喪僅滿四月，家中諸事尚未料理，此時若立即出山辦理官事，則不孝之罪滋大。“且所辦之事亦難尋頭緒，若其認真督辦，必須遍走各縣，號召紳耆，勸其捐資集事，恐為益僅十之二，而擾累者十之八；若不甚認真，不過安坐省城，使軍需局內多一項供應，各官多一處應酬而已。再四思維，實無裨於國事，是以具折陳情，懇乞終製。”為了取得昔日友好對他內心苦楚的理解，他還將折稿寄到京師，請內兄轉交“相好中如袁、毛、黎、黃、王、袁、龐諸君，盡可令其一閱。此外如邵蕙西、李少荃、王雁汀、呂鶴田有欲閱者，亦可一閱。蓋欲使知交中諒我寸心，不必登諸薦牘，令我出而辦事，陷於不孝也。”
由此可見，曾國藩對出山辦團練的困難考慮得十分細致、具體。這也可以看出他是一個務實的人。
二、別開生麵，赤地立新
在鹹豐帝上諭的詔令下，在父親的殷殷期許中，在好友的再三說服下，家居四個多月的曾國藩於鹹豐二年底，自湘鄉來到了長沙，開始籌辦團練，走上“以殺人為職業”（曾國藩自語）的道路。 早在京師時，曾國藩對清朝軍政的腐敗至極就有入木三分的認識。他清醒地意識到，必須改弦更張，才能走出困境。
本來，清朝的武裝力量即國家的“經製額兵”，主要由八旗兵和綠營兵兩種構成。在編製和待遇等方麵，二者有很大不同。八旗兵在許多方麵優越於綠營兵。但早在康熙平定三藩之亂時，八旗兵的衰落已是不爭之實。因此，在這場長達八年的戰爭中，最後主要是通過綠營兵平定的。三藩平定後，八旗對綠營的依賴日益嚴重。至乾隆時，連皇帝也說，“打起仗來，八旗不過隨眾行走，還不如綠營奮勇，深為可恨”。這表明，八旗的主力地位已逐漸被綠營取代。
但由於綠營兵平時擔負繁重的地方雜役，戰時又為八旗打先鋒，當後勤，而各種待遇又遠不如八旗，處處受壓製，加之裝備落後，兵將不親，因此自嘉慶初期五省白蓮教起義以來，綠營也開始走向衰落。
除正規軍外，清朝還有鄉兵。這種兵始自雍、乾，但當時“旋募旋散，初非經製之師”，就是說，它隻是權宜之計，是對正規軍的一種補充與應急。但由於鄉兵在鎮壓白蓮教起義中立有戰功，更主要的是由於八旗、綠營的衰落，鄉勇的地位也就日益重要。
太平天國起事後，清朝先後派李星沅、賽尚阿、徐廣縉、向榮等多位將帥前往鎮壓，但卻未能撲滅起義的火種，相反太平軍勢如破竹，很快占有廣西。李星沅是接替卒於南下途中的林則徐之後的又一位欽差大臣。此人主要服官地方，也算有所作為。曾國藩十年前赴四川充正考官時，途中患病，多虧當時任陝西巡撫的李星沅的延醫護持。李的母親還為曾國藩做了幾日的祈禱。因此曾國藩對李星沅頗懷好感。李星沅於道光三十年底至廣西，就斷定洪秀全等人來者不善，上書清廷厚集兵力，一鼓作氣，聚而殲之。他還認為前方將帥“事權不一”，請派大將軍出征統率，但受到鹹豐帝的訓斥。憂懼交加的李星沅，不久卒於軍中。曾國藩作挽聯以悼：
八州作督，一笑還山，寸草心頭春日永；
五嶺出師，三冬別母，斷藤峽外大星沉。
繼任的賽尚阿貴為首席軍機大臣，又調集多達四萬兵力，但“左右無一正人，無一謀士，其忌刻傾險，盡是內務府氣習”。因此當太平軍攻打湘潭時，他被革職拿問。繼賽之後的徐廣縉，以欽差大臣署理湖廣總督之職與太平軍周旋。太平軍圍長沙，他躲在湘潭；太平軍圍武昌，他在湖南逗留不進，並且奏報說：“當可解圍，乃數日之間”，清廷剛接到奏報，武昌即被太平軍攻下。鹹豐帝上諭曰：“該大臣如此料賊，殊堪浩歎！”徐廣縉被革職押解回京，定為斬監候，原籍家產及任所資財全被查抄。其後，清廷以向榮代之。向雖略勝李、賽、徐三人，但也隻是五十步笑百步而已。
部隊將士的情況也十分遭，當時一位路過兩湖的官僚概述為：“兵畏賊，不畏將；將畏兵，不畏法。”李星沅也承認：“將備弁兵毫無顧忌，見賊輒走，已成故套。”向榮所部戰鬥力較強，但每打勝仗一次，一兵要賞銀一兩，後改為三錢，“軍中嘩然，誓不出力”。將帥之間互相掣肘，將與兵如同路人的關係，暴露了清朝原有的軍事體製已很難適應戰時需要。團練就是在這種情況下走上曆史舞台並一變而唱主角的。
團練之製，始於唐代，以後曆代相承，沿而不廢，隻有內容與形式上稍有變異。至清代已從原來的政府軍事組織演變為地方自衛武裝，成為維護治安的重要工具。
道光三十年（1850年），清政府命兩廣總督徐廣縉赴廣西勸諭士紳興辦團練，以協助綠營軍對付太平軍。鹹豐二年（1852年）太平軍北進湖南，鹹豐皇帝命令兩湖，尤其是湖南興辦團練，並令原湖北巡撫羅繞典勸當地士紳協助湖廣總督及湖南巡撫興辦團練。鹹豐三年（1853年），清政府要求全國各地普遍舉辦團練，任命丁憂或在籍的官員為團練大臣。一時間，全國有團練大臣四五十人之多。其中，僅山東省就任命了13位團練大臣，江蘇有8位團練大臣，浙江、福建也各有4位。清政府還將鹹豐皇帝的有關諭旨以及嘉慶年間明亮、德楞泰的《築堡禦賦疏》、龔景翰的《堅壁清野議》等刊刻印發，以供團練大臣參照執行。
湖南興辦團練可謂頗有傳統，也很有成效。乾隆朝的傅鼐、道光朝的江忠源都以此名揚四海。無獨有偶，曾國藩的家鄉湘鄉縣又是湖南興辦團練最早的縣份之一。曾國藩的二弟曾國潢曾在家鄉組織“安良會”，以對付聚眾搶劫者。當太平軍進入湖南後，湘鄉縣令朱孫詒曾募勇千人，在衡州協助清軍防堵。他還召集各地鄉紳訂立章程，在湘鄉縣城設立總團，在湘鄉、永豐和婁底分設三個團練局，並請曾國藩的父親曾麟書出麵籌辦，請鄉紳羅澤南、劉蓉協辦湘鄉團練。
羅澤南長期在善化、湘鄉等地教書，培養了大批學生，其中不少人後來成為湘軍初建時的重要人員。如王、李續賓、李續宜等人。
王，字璞山，湖南湘鄉人，二十四歲補縣學，同年投到羅澤南門下，拜其為師，“日夜講習明善複性、修已治人之道”。道光二十九年（1849年）夏，湖南大旱，饑民在湘鄉縣南搶掠富戶。王組織富紳自衛，一時影響頗大。太平軍攻破道州後，他上書知縣朱孫詒，請編團練，協助羅澤南挑選鄉勇，組織訓練。
李續賓，號迪庵，湖南湘鄉人。李續宜，號希庵，李續賓的胞弟。李續賓性格沉穩，不苟言笑。他身材高大，膂力過人，尤其善於騎射，能挽三石弓。因為雙親年邁，家境貧困，以販煤養家糊口，並供弟弟讀書。羅澤南十分賞識他，將兄弟二人一並收作學生，除免收他們的學費以外，還將自己微薄的收入省出一部分，以供養其雙親。羅澤南練勇之初，李氏兄弟成為助手。
羅澤南最初在湘鄉練勇一千多人，分為中、左、右三營，分別由他自己和王、李續賓率領。當太平軍離開湖南，順長江東下後，阻擊長沙的各路清軍尾隨而去，一時間，長沙城內十分空虛。因此，巡撫張亮基檄調羅澤南率湘鄉練勇前往守城，並以此為基礎，仿照戚繼光成法編練新軍。
曾國藩本來是一個信奉程朱理學的學者型官僚，而當時代給他提供了一個轉換人生角色，施展自身才華的新契機時，他則不失時機地抓住了這一契機，利用了這一“變局”，把自己由守製官員變成了軍人將領。他從鹹豐二年（1852）奉旨興辦團練開始，到同治十年（1872）他死前的二十年，他一直沒有離開過軍事。用他自己的話說，以殺人為業，擇業極為不慎，有違書生本義。但如果不是這一次不慎“轉業”、“改行”，曾國藩何能成為“辦事兼傳教之人”（毛澤東語）？
本來，清朝的軍事體製吸取了曆朝曆代的教訓，主旨在於防止武官造反。為此，國家每有戰事發生，臨時派遣親王、郡王為大將軍，這就是統帥；兵則一般東省五百、西省八百，臨時湊成幾軍。有大戰事，則派京師勁銳八旗，也是從各旗抽調。這樣，兵與兵不相知，將與將不相識，兵、將之間更難有“私屬”關係發生。這種立意防範的體製到了嘉慶年間已經越來越不適應。因此，當白蓮教五省起事後，清廷在利用國家傳統的正規軍打仗的同時，也讓地方官員舉辦團練，以自保鄉裏。這後一種不起大作用的新辦法到了鹹豐初年卻派上了大用處，唱起了主角。原因除了軍政腐敗外，更重要的是清朝的財政十分枯竭，正規軍一年的兵餉二個月都開不出。而且，國庫空虛，再拿不出打仗的錢來驅使綠營兵。在這種情況下，清廷突破了“變通”的政策界限，讓地方大員自籌兵餉，自辦團練，也就是朝廷給了個最大的戰時政策：八仙過海，各顯其能。這一體製的轉變造就了曾國藩一生事業的轉機。否則，天下無論如何大亂，也輪不到他這個漢人進士去指揮千軍萬馬。
曾國藩是一個善於抓住機會為我所用的人。他用鹹豐帝的“練”字招牌，開始了馳騁疆場建功立業的人生曆程。
團練是保甲法的遺意，用於防守地方小股盜寇還勉強稱職，如果用來防禦強敵就變得無能為力。多少年後，曾國藩的幕僚薛福成在總結曾大帥成功時還頗有感觸地說：“有得力之勁軍以剿強寇，而以團練輔之，為堅壁清野計則可，專恃團練以剿強寇則不可”。他還指出：無論從決策層還是言官們，都認為團練可以成功，因為沒有籌餉之難，沒有募兵之勞，反而能坐享其成，“其說非不美也”。但作為思想家的薛福成卻一針見血地指出：“天下事沒有實際意義的很少收到成效，而務虛名的多留後患。”他舉出三個例證：一個是羅繞典，當時在籍“丁憂”，聞詔後即赴長沙與本省巡撫會辦軍務；另一個是前刑部尚書陳孚思，在南昌與江西巡撫辦軍務。這也是清廷最早任命的團練大臣。由於二人與巡撫同在城中，又時間非常短，因此雖然沒有收到成效，但也不至於互相傾軋。後來者就不同了。像安徽的呂賢基，以工部侍郎在籍辦團練，但當皖北危急時，無兵無餉，赤手空拳，最後殉難舒城。