除了這些，曾國藩最高明的創建就是把軍隊國家化變為軍隊私人化。他對全軍訓話說：“將來咱們必能建功立業，得到朝廷的賞賜。可你們給我記住，無論你被朝廷授予什麼官職，哪怕是一品大員，隻要在你們上級麵前，必須要毫無條件地服從命令！也就是說，朝廷的排名和在我這裏的排名是不同的。”
這是政治教育，終這支湘軍一生，政治教育都是它的主旋律。曾國藩的政治教育就是理學教育，他把理學的種種規定很巧妙地融進軍隊中，要他們守紀律，不得擾民，不守紀律、擾亂民眾就是傷天害理，不必軍法處置，老天就會收拾他。他要士兵們喚醒內心的良知，為國為民貢獻全部力量，消滅長毛匪，讓天理正常循環，讓人心歸於平靜。
曾國藩的口才是無敵的，每個月都有那麼幾天，曾國藩都會喝掉大量清水，原因隻有一個，他口幹舌燥。任是誰，站在高台上對著下麵一群仰麵如聽聖人講道的人說上三四個時辰，都會口幹舌燥。開始，這些鄉巴佬看到曾國藩揮汗如雨、張牙舞爪的樣子，都偷偷嬉笑。但後來，曾國藩不厭其煩的毅力感動了他們。他們開始認真傾聽，而且聽出了許多微言大義，深深為從前的所作所為懊悔流淚，並暗暗發誓將來要重新做人，為解放被長毛匪蹂躪地區的百姓貢獻全部力量。
在取得不俗的成績後，曾國藩對朋友說：“人啊不論賢愚，無論美醜，更不論知識的有無，隻要他有良心，就能被教育。不過話說回來，教育這些鄉巴佬還真不容易，雖不敢說點頑石之頭，也是苦口滴杜鵑之血。”
軟件和硬件都大致齊備，曾國藩把精力投到水軍上，這是個大膽而瘋狂的計劃，除了曾國藩，恐怕沒有人敢嚐試，因為困難是不可想象的。
曾氏軍艦
現在，我們把曾國藩和他的戰友們在衡州建立的這支新軍稱為湘軍，意為湖南人的軍隊。陸軍建設，之前有“大團”的創建經驗，還算容易，難的是水軍。
曾國藩到衡州打了兩個旗號，一是剿匪，二是為江忠源練軍。這兩個旗號也非純是幌子，比如剿匪，湘軍的陸軍多次在衡州周邊和小股叛亂交火，成績不俗。再比如為江忠源練軍，曾國藩也的確和江忠源進行著頻繁的溝通，事無巨細。他所以要下決心創建水軍，也是和江忠源多次溝通的結果。
江忠源是太平軍叛亂初期和太平軍打交道最多也最紮實的清朝將領，在多次的交鋒中，江忠源發現，太平軍在江南的勢如破竹很多時候都得益於陸軍和水軍的親密協作。他們往往利用長江下遊水鄉澤國的地理形勢，水陸並進，唇齒相依，行動迅捷，攻守自如。
江忠源去信曾國藩說：“長毛賊如今占據了沿江的南京、鎮江、安慶等戰略要地，三麵陸地，一麵臨江，我軍雖全力進攻，長毛賊卻能輕易化解。因為他們能海陸救護以牽製我們的兵力，搞得我們總是焦頭爛額，有力使不上。要想收複長毛賊占據的沿江城市，必須先拿到製江權，要想拿到製江權，必須幹掉敵船，要想幹掉敵船，你想想，咱們該怎麼辦？”
曾國藩回信：“建一支水軍！”
這話說起來容易，做起來太難。曾國藩和他的戰友們都是旱鴨子，雖然生活在南方，但大多數時間都讀書了，連船的大致構造都搞不明白。這就隻能在一窮二白的情況下白手起家。
1853年10月，曾國藩在衡州找了個池塘建立船廠，開始製造戰船。他把湖南全省數得上的能工巧匠都請到衡州，大家召開特大型會議，探討建船。會議聽取了曾國藩關於建立世界第一水軍的報告。報告結束後，工匠們各抒己見。有的工匠誠實回答，船身上精美的雕飾他天下無二，但造船不會。還有的工匠臨時抱佛腳翻魯班遺書，其餘的工匠覺得這是政府工程，應該能大賺一筆，所以勸曾國藩別建戰船，因為他們最擅長造戰車。
曾國藩垂頭喪氣，會議結束後，他再次感悟到凡事都要靠自己的格言，端坐在床上開始“格物致知”。格了好久，他沒有格出戰船的製造方法，卻格出了不必造戰船的堂皇理由。他叫來湘軍的巨柱塔齊布、羅澤南和王錱說：“戰船這東西中看不中用吧，如果船大，太笨重，行進起來不方便；如果船小，在水浪中會晃動，必不能戰。”
三人認真想了下，覺得有道理。曾國藩就拿出自己的主張：“咱們製造木排，這東西既免於笨重，又不會晃動，實在是水上第一利器。”
王錱一笑，帶著點嘲諷：“我讀了那麼多書，從未見過有人用木排當戰船的。”