曾國藩十分重視軍事領導人才的培養和選拔，這是他一手組建的湘軍和受其影響出現的淮軍具有較強戰鬥力的重要原因。在曾國藩的幕府中，良將治才屢出，後與他齊名的左宗棠、李鴻章均出自他的麾下，郭嵩燾、彭玉麟、李元度、薛福成等都曾為其幕府，並受其舉薦。
後來曾與曾國藩發生矛盾的左宗棠在給他的挽聯中歎道：“知人之明，謀國之忠，自愧不如元輔。”他的主要對手、太平天國翼王石達開也曾說他“不以善戰名，而能識拔賢將”。作為一軍大帥，識將是至關重要的。
曾國藩所以能“識拔賢將”，與他關於將領問題的理性認識有密切關係。他認為，理想中的軍事人才，應以血性為主，廉明為用，而廉明的培養，多賴學力的積累。他對帶兵將領的具體要求是：“第一要才堪治民，第二要不怕死，第三要不求名利，第四要耐受辛苦”。
治民之才體現在公正嚴明和勤謹上，不怕死體現在臨陣當先上，不求名利體現在升職加薪等諸多方麵，耐受辛苦體現在身體強健、精神飽滿上。對於將才，他又提出“知人善任”“善覘敵情”“臨陣膽識”及“營務整齊”四條標準。根據這些認識，他戰時察人才之膽識，平時察人才言語舉動，根據觀察結果提拔或舉薦人才。如他舉薦李元度的考語是“備嚐艱苦，百折不回”，舉薦左宗棠的考語是“剛明耐苦，曉暢兵機”。
與“識拔賢將”相輔相成的，是曾國落善於駕馭將領、虛懷納言。他認為，“馭將之道，最貴推誠，不貴權術”。但又強調馭將必須寬嚴並濟，不能失之寬厚。根據這樣的認識，他認為營務之要，一在樹人，一在立法。對於軍中悍將，他主張“應寬者二，應嚴者二”。即：銀錢施與慷慨大方，遇有戰功推功於彼；話不可多情不可密，事關軍紀剖明是非。就是在名利問題上從寬對待，禮義問題上從嚴處理。不以恩怨而廢舉劾，也是他所以能駕馭將領的一個關鍵。對於將領的意見，他往往善加采納。他初起兵即遭嶽州之敗，後用陳士傑、王閻運之策，取得湘潭之勝。他在同治三年與左宗棠絕交，後又竭力舉薦左宗棠，多次盛讚左宗棠的兵略，也與虛懷采納羅汝懷等的勸勉有關。
組建湘軍的過程，充分反映了曾國藩關於軍隊建設和訓練的思想觀點。他募選湘軍將士，針對清初以來綠營“將與將不相習，兵與兵不相知”的缺點，實行“營官由統領挑選，哨弁由營官挑選。什長由哨弁挑選，勇丁由什長挑選”的遞選製。使兵將上下相親，同時也開始了兵為將有的局麵。對於所募勇丁，以“技藝嫻熟，年輕力壯，樸實而有農民土氣為上”。
應募者必須家庭情況清楚、本人身份明確，並有保人具結擔保。這些募選方法，為以後淮軍和清末新軍組建時所借鑒，對近代軍隊的組建方式也有一定影響。鑒於綠營丁兵薪餉過低，影響操防，他主張厚給薪餉，以鼓舞士氣。為解決士兵薪餉問題，他多方籌積，得鄧輔綸、王家璧等捐資集餉，周開錫、吳嘉賓等轉輸糧食，左宗棠等相助籌餉，使湘軍餉製優厚，將士相對安心服役。他注重對軍隊的教育訓練，以“忠信”為本教育將士要求軍人以“勤恕廉明”和“謹慎”為行為準則。對於軍隊的訓練，他把“訓”和“練”分開。“訓”包括“訓營規”和“訓家規”“訓營規”指點名、演操、巡更、放哨、站牆子等軍規的教育，“訓家規”指禁嫖賭、戒遊惰、慎語言、敬尊長等道德教育。“練”包括“練技藝”和“練陣法”“練技藝”包括練刀、槍、拳、棒等。“練陣法”包括練鴛鴦陣、三才陣、方城陣、四麵相應陣等。曾國藩的軍隊建設和訓練思想雖然封建色彩相當濃厚，但重在實用，方法多樣，對後世影響也較大。尤其是他把營製、營規編成押韻易記的歌訣，讓士兵學唱，不失為教育訓練的一種成功嚐試。
曾國藩的封建傳統思想和儒家思想較深，但他對西方軍事技術也相當注意。同治元年，他特設軍械所於安慶，後又和李鴻章在上海設置江南機器製造局，仿製外國開花炮、彈藥及輪船，製造出我國第一台蒸汽機，裝備湘軍、淮軍。他還支持設立譯書館，翻譯有關機器製造、使用及火器原理的書籍；支持容閎向美國派遣留學生的計劃。
曾國藩亦文亦武，是鴉片戰爭後特殊形勢造就的著名軍事家。他的出現具有引人注目的意義：中國完全傳統礎的兵家的時代正在結束，新的麵向世界型的兵家的時代正將到來。他是這一轉變中的典型，舊的烙印尚深，新的印記初現其身。比他年齡稍小些的左宗棠、李鴻章也具有他這種典型性，不過他們身上新的時代的印記似稍多些，轉型特征更鮮明些。