與這些人相比，曾國藩走出一條新路：這條新路即打“練”字招牌，將勇改練成軍。所以薛福成說：“文正以團練始，不以團練終，且幸其改圖之速，所以能成殄寇之奇功，擴勇營之規製也。”（《薛福成選集》，《敘團練大臣》）
曾國藩屬於幫辦團練，鹹豐帝在接連發下的辦團練諭旨中，一再申明辦兵原則，即不能取代正規軍：“著各該撫分飭所屬，各就地方情形妥籌辦理，並出示剴切曉諭，或築寨浚濠，聯村為堡；或嚴守險隘，密拿奸宄。無事則各安生業，有事則互衛身家。一切經費均歸紳耆掌管，不假吏胥之手。所有團練壯丁，亦不得遠行征調。”這是鎮壓白蓮教起義故伎的重演，妄圖以此遏製太平軍擴大兵力，“驅民為寇”，由於團練不脫離生產，不拿政府軍餉，不離本土本鄉；同時，團練還要接受地方大吏的督促和管轄，因此團練大臣則隻是幫同辦理。但曾國藩對這樣辦團練不感興趣。他要另立新軍。
曾國藩認為，對付集中而強大的太平軍，必須有一支強悍敢戰的軍隊。有了它，太平軍返回湖南，可以據城抵抗，守衛桑梓；太平軍不來湖南，則可以出省作戰，主動進攻。而這支軍隊的來源，就是自己募勇訓練。曾國藩帶領湘鄉練勇趕到長沙後，就向湖南巡撫張亮基表示了他的以上想法。所謂“英雄所見略同”，張亮基也早有此意，二人遂一拍即合。因此，曾國藩到達省城的第二天就發出了他早已擬好的奏折。
曾國藩通達政務，對清廷政治的運作過程十分清楚。因此，對於回鄉之後的第一份奏折，他寫得很委婉，第一層講了自己遵照皇帝諭旨，前往長沙辦團練，是“勉竭愚忠，稍分君父之憂”。第二層講團練雖然好，但今昔不同，因為嘉慶年間是官給發餉，現在需要鄉紳自己出錢，弄不好會走向反麵。第三層講長沙現今空虛，必須練兵才能緩急可恃。最後則拋出自己的練兵計劃，他說：自軍興以來二年有餘，時日不為不久，糜餉不為不多，調集大兵不為不眾，而往往見賊逃潰，未聞有與之鏖戰一場者；往往從後尾追，未聞有與之攔頭一戰者；其所用兵器，皆以大炮、鳥槍遠遠轟擊，未聞有短兵相接以槍靶與之交鋒者。其故何哉？皆由所用之兵未經訓練，無膽無藝，故所向退怯也。今欲改弦更張，總宜以練兵為務。臣擬現在訓練章程，宜參訪前明戚繼光、近人傅鼐成法，但求其精，不求其多；但求有濟，不求速效。誠能實力操練，於土匪足資剿捕，即於省城防守，亦不無裨益。臣與撫臣熟商，意見相同。
清廷急於平定太平天國，因而隻要對此有利，就都開了綠燈。因此鹹豐帝令其“悉心辦理，以資防剿。”曾國藩的練兵計劃獲準通過。
曾國藩的政治眼光確實比清政府及同時代的大僚們高出許多。他看到了問題所在，尤其是利弊相權取其輕。他的計劃通過後，給朱孫詒的信中說，“去冬之出，奉命以團練為名，近來不談此二字，每告人曰鄉村宜團不宜練，城廂宜練不宜團。如此立說，明知有日就解散之弊，然解散之弊尚少，若一意操切行之，則新進生事者持劄四出，訛索逼勒，無所不至，功無尺寸而弊重邱山，亦良可深慮也。”在給張亮基的信中更直接了當地說：“惟團練終成虛語，毫無實裨，萬一土匪竊發，鄉裏小民仍如魚聽鳴榔，鳥驚虛弦，怯四竄，難可遽鎮也。”
他還在批給手下人的批牘中，將本來並無二致的“團練”一詞，“謬加區別”，一分為二。他說：“團練”二字須分看。團，團即保甲之法，清查戶口，不許容留匪人，一言盡之矣；練，則簡兵請師，製械造旗，為費頗多，故鄉民不肯舉行。本部堂每與各州縣道及，宜鄉間團而不練，城廂練而不團，庶幾有益而易行。
曾國藩是文章高手，更是通達時變的人。他改造“團練”，使他與當時的四五十位團練大臣分道揚鑣。而且，由於“改圖之速”，所以“立竿見影”。當然，艱辛的過程又非三言二語可以道破。
三、取法“戚家軍”
曾國藩的練兵計劃獲準通過，而且也有成法可取，那就是他幾次推服的戚繼光的練兵法。太平軍剛剛興起，鹹豐帝下詔求言，當時作為二品大員的曾國藩就在《議汰兵疏》中說：“明臣戚繼光練金華兵三千人，遂以蕩平倭寇。臣書生愚見，以為今日論兵，正宜法此。”但那時他是一個侍郎，他的建議真正是書生議兵，無法付諸實踐。
仿佛曾國藩真是太平天國的“克星”。一年半以後，他作為團練大臣，上奏的練兵之法還是取法戚家軍。曾國藩何以對“戚家軍”如此傾心？他從“戚家軍”那裏討得什麼“真經”？湘軍與“戚家軍”有何共同之處？讓我們把曆史的鏡頭倒推三百年。
明代中葉，大明王朝出現了嚴重的邊疆危機，“南倭北虜”之患日甚一日。自“戚家軍”出，大亂得平。
戚繼光出生在軍人家庭。始祖戚詳，元末時避亂居安徽定遠，從朱元璋起義，屢立戰功，後征雲南陣亡，朱元璋封其子戚斌世襲登州衛指揮僉事，於是戚家就居住在登州衛地方。傳四世到了戚繼光的父親戚景通，他是一個治軍嚴明、精通軍事的武將，升任都指揮，總領山東備倭的一切軍事。戚繼光從小就刻苦讀書，尤其是受他父親的教導，學到許多軍事知識和經驗。嘉靖二十三年（1544），戚景通去世，繼光襲官指揮僉事。這時衛所軍丁逃亡，屯田破壞，繼光加以清理整頓，頗有成效。此時，倭寇不斷侵擾山東沿海，刺激著這位青年將領決心剿滅海寇，他寫下了“封侯非我意，但願海波平”的壯懷詩句。
嘉靖三十二年（1553），繼光從北部邊塞調往山東，任都指揮僉事，與其父一樣總領山東備倭軍事。他統率三營二十四衛，日日“振飭營伍，整刷衛所”，軍紀大見整肅。當時江南沿海同時告警，隻有山東沿海因防務鞏固，故海上肅然，倭寇不敢來犯。兩年後繼光升任參將，調至浙江，鎮守寧波、紹興、台州三府及所轄各縣，這是海盜侵擾的中心地帶，防衛任務十分艱巨。十餘年的戎馬生涯，繼光堅守塞北，保衛京師，現在又來到波濤滾滾的浙江海岸，他覺得這都是報效國家的機會，也感到自己肩負的責任重大，想到此，吟詩一首：
南北驅弛報主情，江花邊月笑平生。
一年三百六十日，多是橫戈馬上行。〖
繼光到浙江後，發現本地民性怯弱與客兵之禍。浙江自吳越與南宋兩朝建都以來，人文薈萃，極一時之盛，但積久相沿，養成了軟弱的民性。海盜初犯浙江，浙人逃避一空，以至數十名海盜橫行千裏，殺掠浙人成千上萬，浙江百姓無不深受其害。以後不得不征調全國各地的軍隊入衛浙江，稱為客兵，如廣西的土狼兵，湖南的士兵，山東、安徽、河南、河北、山西的北方兵，四川、福建等南方兵，以為應變的主力。但客兵互不統屬，情狀各異，常因不同地籍而互相鬥殺，浙人遭受海盜蹂躪之餘，又飽受客兵之苦。並且，客兵守浙土，終屬權宜之計，不可長期備用。浙江能夠抗擊海盜，必須有一支自己的軍隊。為此，繼光上書胡宗憲總督，建議招民練兵。胡宗憲深表讚成，讓他招募。
繼光選擇義烏人作為招募對象，是有原因的。浙江的處州，是明朝產銀礦的著名地區，它四周環山，許多失業破產的農民聚到這裏，冒禁開礦，政府稱他們為“礦盜”。處州義烏縣南麵的保山，林麓錯秀，銀礦更多。嘉靖三十七年始，處州山區的流民大批來到這裏開礦。但是，義烏縣的勢家大族把持這塊土地，不準開礦，並組織鄉團強行禁止。流民礦夫已走投無路，拿起開礦用的工具與陳大成為首的鄉團發生武裝衝突。一個月內發生三次，一次比一次激烈。最後一次，雙方各聚眾數千人，傷亡也很多。至冬天，大雪封山，礦夫退回家鄉。義烏事件發生後，義烏縣令趙大河上書胡宗憲提出特別的建議，請戚繼光到義烏招募這些農民礦夫，用來抗擊海盜。這一建議與繼光不謀而合，宗憲遂請繼光立即前去招募。但此舉引起很多人的反對，認為招“礦盜”為兵，弄不好會出大亂，如果“礦盜”與“海盜”相合，形勢更難控製，有人甚至說這是“病狂喪心”之為。故此事拖了幾個月。嘉靖三十八年九月，宗憲力排眾議。在他的支持下，繼光到義烏開始招募工作。
招募工作很順利。繼光“諭以君父水土之恩”，礦夫們感於保家衛國的號召，紛紛加入，時間不長就組成了3000人隊伍。後鄉團也參加了一部分，擴大為4000人。繼光帶回紹興，又經過二個多月的訓練，已初見成效。但在以後的戰役中也暴露了問題，主要是江南“地多藪澤”，不能像塞北那樣，得以“方列並驅”。為此，繼光精密地研究如何戰勝海盜以倭刀、長槍、重矢為主的戰術，創製了特別的陣法——鴛鴦陣，教練軍士。鴛鴦陣以火器（鳥銑）、弓箭作掩護，每當作戰，倭寇進至一百步以內，軍士聽號令放火器。再進至六十步以內，拿手放箭。敵人若再進，方由鴛鴦陣衝殺。由此可見鴛鴦陣是與敵人短兵相接的陣法。這一陣法的最大功效在於“長短兵迭用”。藤牌在江南田塍泥雨中，可代甲胄，極為便利，是防禦倭寇重矢、長槍，掩護本隊前進的。每一藤牌手尚有標槍二支，腰刀一把，敵人近前，擲標槍刺之，中與不中，敵必用槍顧撥，牌手乘勢急取腰刀砍殺。狼筅用長竹所作，節密枝堅，抄加利刃，刃能刺人，技梢茂盛，是防禦遮蔽本隊的武器。長槍不但比倭刀長，且比倭寇用的長槍長。長槍先發製人，敵人兵器，不能及身。佐以短兵，長槍進刺不中，短兵殺上救護。長短相衛，彼此相倚。
鴛鴦陣的妙處在於變化無窮。這種變化陣形的陣法常使敵人如入虎口之中，進則不得出，必死而後已。戚繼光還讓不同年齡不同體格的兵士，使用不同的武器，如膽勇有氣力、年少便捷的使藤牌，體壯力大者用狼筅，30歲上下者用長槍等。這樣，人盡其力，物盡其用，陣法用得更為靈活、適用。