王鑫是曾國藩的同鄉，羅澤南的學生，湘勇最初的倡導者。在平定湖南各地的土匪時，王鑫表現突出得到湖南巡撫駱秉章的賞識，支持他糧餉軍火，讓他招滿3000人。王鑫招募成軍後，不受曾國藩的節製，獨立指揮。1857年8月，王鑫病死於江西樂安，由張運蘭接替，後歸蔣益澧接替，再後由劉鬆山、劉錦棠負責。左宗棠到江西後，這支湘軍劃給他管，1862年由江西進入浙江。這是老湘營。
曾國藩到省城幫辦團練，提出辦一大團的思路。1853年8月移駐衡陽，招募水陸兩師。第二年正月，曾軍成立，有陸軍5000人，分為大小13營，以塔齊布、周鳳山、儲褚躬、林源恩、鄒世琦、楊名聲、曾國葆統之，派塔齊布作先鋒；水師5000人，分10營，由成名標、諸殿元、楊載福（後改嶽斌）、彭玉麟、鄒漢章、龍獻琛、褚汝航、夏鑾、胡嘉垣、胡作霖統之，派褚汝航作總統。擁有船隻包括拖罟1隻，快蟹10隻，長龍50隻，三板艇150隻，改造釣鉤船120隻，租用輜重船100多隻。擁有來自兩廣、湖南提供以及自己購買的大炮570尊；設立糧台，帶米12000石，煤18000石，鹽40000斤，油30000斤，軍隊所需的東西，要用的工匠，攜帶隨行；加上後勤人員，總計人數17000人。
曾國藩組織的軍隊主要特點是：
第一，是集團。曾軍出征後，羅澤蘭、劉長佑等都歸他調度；王鑫單獨成軍，後來王鑫死於江西，其軍也歸入曾國藩。曾國藩用人不分畛域，不止用湖南人，所以加入他集團的外籍人不少，像李鴻章兄弟、鮑超、沈葆楨、閆敬銘等等，隻要是進入這個集團，為這個集團效力的就是湘軍。
第二，組織結構合理。他的營製是先進的製度，戰鬥部隊與後勤保障相結合，這是自古未有的。一個營500人，其中後勤人員180人。春秋戰國時期，士兵要自己做飯吃。孫臏就是利用這一點，采用減炤的辦法迷惑龐涓，打敗了強大的魏國軍隊。曾軍對外隻有專門的後勤人員才可以去采購，減少了軍隊與百姓的接觸，體現了“行軍以不擾民”遵旨，也可以確保在很大程度上不擾民與少擾民，有利於軍民關係的融洽。曾國藩還改變了之前軍隊單純依靠國家提供糧餉的做法，由地方政府與民間“集資”來供他打仗，打到哪裏吃到哪裏。在湖南吃湖南，到湖北吃湖北，到江西吃江西，到江蘇吃江蘇、廣東。到哪裏吃哪裏，必須作出成績，沒有成績別人不會給你吃。
第三，精神教育與技能培訓相結合。自古以來，打仗就是打仗，沒有哪一支軍隊是為了一個思想去打仗的。曾國藩改變了這種曆史狀況，他用儒家的思想來教育湘勇，使湘軍廣大將士明白了為什麼而戰的問題。明白了為什麼而戰，戰鬥意誌隨之增強，戰鬥力隨之提高。然而，光有思想、有主義還是不行的。作為一個務實的領導者，還要讓自己的追隨者、自己的士兵具有真本事。曾國藩最強調士卒的訓練。他將訓練、籌餉、選將作為三大治軍要務，堅決反對未經訓練的新兵上戰場，認為“新集之卒，不足以當大敵”；挑選勇不難，難的是訓練；要求新兵必須訓練兩個月後，才可以使用，對那些訓練不合格的要嚴格淘汰。為了讓湘勇明白訓練的目的與作用，曾國藩還專門寫了通俗易懂的《見喻新募鄉勇》，說：
原是要你們學些武藝，好去與賊人打仗、拚命。你們平日如不早將武藝學得精熟，將來遇賊打仗，你不能殺他，他便殺你；你若退縮，又難逃國法。課課見學的武藝，原是保護你們自己性命的。若是學得武藝精熟，大膽上前，未必即死；一經退後，斷不得生。……於今要你們學習拳棍，是操練你們的筋力；要你們學習槍法，是操練你們的手腳；要你們跑坡跳坑，是操練你們的步履；要你們學習刀、矛、鈀、叉，是操練你們的技藝；要你們看旗幟、聽號令，是操練你們的耳目；要你們每日演陣，住則同住，行則同行，要快大家快，要慢大家慢，要上前大家上前，要退後大家退後，是操練你們的行伍，要你們齊心。你們若是操得筋力強健，手足伶俐，步履便捷，技藝純熟，耳目精明，而又大家齊心，膽便大了。一遇賊匪，放炮的放炮，放槍的放槍，刀、矛、鈀、叉一齊上前，見一個殺一個，見十個殺十個，那怕他千軍萬馬，不難一戰成功。