曾國藩“從善如流”，十月二十四日，向清廷上了《請籌備戰船折》，曾國藩又拿出他的一貫筆法，向清廷提出“辦船為第一先務”的建議，他說：
因思該匪以舟楫為巢穴，以擄掠為生涯，千舸百艘，遊弈往來，長江千裏，任其橫行，我兵無敢過而問者。前在江西，近在湖北，凡傍水區域，城池莫不殘毀，口岸莫不蹂躪，大小船隻莫不擄掠，皆由舟師未備，無可如何。兵勇但保省城。亦不暇兼顧水次，該匪飽掠而去，總未大受懲創。今若為專保省會之計，不過數千兵勇，即可堅守無虞。若為保衛全楚之計，必須多備炮船，乃能堵剿兼施。夏間奉到寄諭，飭令兩湖督撫籌備舟師，經署督臣張亮基造船運炮，設法興辦，尚未完備。忽於九月十三日田家鎮失守，一切戰船炮位，盡為賊有，水勇潰散，收合為難。現在兩湖地方，無一舟可為戰艦，無一卒習於水師。今若帶勇但赴鄂省，則鄂省已無賊矣；若馳赴下遊，則賊以水去，我以陸追，曾不能與之相遇，又何能痛加攻剿哉？再四思維，總以辦船為第一先務。臣現駐衡州，即在衡城試行趕辦。湖南木料薄脆，船身笨重，本不足以為戰艦。然就地興工，急何能擇，止可價買民間釣鉤小之類，另行改造，添置炮位，教練水勇。如果舟師辦有頭緒，即行奏明，臣親自統帶駛赴下遊。
曾國藩的建議再次獲準通過，後來上諭中還有以水師“肅清江麵”之語，這也是此後曾國藩與清廷屢屢言及的湘軍水師之緣起。
籌建水師，對於即無資金，又無技術，甚至毫無經驗的曾國藩而言，遠比練湘勇要困難得多。最初他隻好購買釣鉤、小NFEA7之類的民船，改造成炮船使用。其後，嶽州水師守備成名標、廣西同知褚汝航來到衡州，曾國藩不時向兩人谘詢，將商船改造成長唇寬舷，在上麵設置炮位，炮發而船不震動，一時收有功效。當曾國藩了解到拖罟、快蟹、長龍諸船的式樣及功用後，也立即大量打造。 為解決資金問題，鹹豐三年（1853年）秋，他奏請提取途經湖南解往江南大營的粵餉銀四萬兩，作為購船造炮、招募水勇的經費，又於廣西購得造船的上等木材用來造船。於是曾國藩在衡州設立製造總廠，由成明標任監督，又在湘潭設立分廠，由褚汝航任監督，召集大批能工巧匠，日夜趕製船隻，主要是拖罟、快蟹、長龍三種船型。由於兩廠之船，往來比較，互相質證，各用其長，因此進展比較快。湘潭所造尤為堅利。在即將趕造完工時，曾國藩將長期在江南辦海防的黃冕請到船廠參觀。諳熟水戰船式的黃冕建議每營添造十隻舢板船，其船身短小，運行靈活，適宜於在河灣港中行駛，以補快蟹、長龍在作戰中由於船體大運行不靈活的缺點。曾國藩遂接受此一建議，即刻開工，趕造舢板。
在造船的過程中，曾國藩也積極籌劃子炮裝備，當時廣西巡撫勞崇光解炮二百尊趕赴湖北，在經過衡州時曾國藩將其截留，包括護送的水手也一並留下，這些人後來成了湘軍水師的教練。曾國藩不僅對於造船精益求精，而且對於所置戰炮的質量與裝配方式亦很講究。當時，中國各地所鑄造的戰炮，不僅炮身笨重，射程短，而且由於技術不過關，時常炸裂。為此，曾國藩花費重金，從廣東購置大批洋炮，經過反複研試，終於將洋炮安裝在戰船上，成了當時中國技術先進、裝備精良的內河水師。至鹹豐四年（1854年）初，曾國藩將湘軍水師船炮準備齊整，總計有大小戰船361號，其中拖罟船一號，快蟹船40號，長龍船50號，舢板150號，戰船120號，並裝備了大小炮470門，其中購置洋莊炮320門，從廣西借來150門。
船炮粗有規模後，曾國藩開始招募水勇。盡管湖南水流頗多，又有八百裏洞庭，但絕大多數人不知水師為何物，因而應募的人很少，曾國藩乃決定招募不懼風濤的水上船戶，由截留的廣西炮勇教船戶放炮等技藝。初定快蟹船用槳工二十八人，櫓八人；長龍船槳工十六人，櫓四人；舢舨船槳十人。每船用炮手數人。又另置船長一人，頭工二名，柁工一人，口糧等待遇也比陸營優厚。水師營製後定為500人為一營，共計十營。營官分別由褚汝航、夏鑾、胡嘉垣、胡作霖、成名標、諸殿元、楊載福、彭玉麟、鄒漢章、龍獻琛來但任。褚汝航為水師總統。後來在曾國葆的力薦下，主要由彭玉麟、楊載福兩人負責。二人對湘軍的發展也至關重要。 彭玉麟，字雪琴，先世是江西太和人，明洪熙時遷湖南衡陽，定居在查江。父親曾任安徽合肥縣梁園巡檢，母親王氏，賢明有識鑒。彭玉麟生在梁園巡檢司署，年16從父查江舊居。父親死後，為族人所逼，母親讓他外出避禍，入城居石鼓書院。因生活無以自給，投協標充書識，支月餉，如同馬兵。衡州知府高人鑒善相士，見彭玉麟，以之為奇，使入署讀書。及至趕考之時，衡陽應童試千人，競爭十分激烈，考中很不易。縣試畢，擬定第一，但因彭玉麟是外鄉人，被告發，後經知府力薦，取為第三。當縣令召見彭玉麟時對他說：“以文論，汝當第一，今乃太守意也，太守曰：‘彭某異日名位未可量，然在吾署中讀書，若縣試第一，必謂明府推屋烏之愛，是其終身之玷矣’”。彭玉麟聞言深受感動，更加發憤讀書，二年後，始隸諸生籍。
彭玉麟考中秀才，還有一個流傳頗廣的故事。彭玉麟由於少年失學，不能作楷書，試卷譽正，往往出格。因此九應鄉試，都沒有考中。後浙江高學政到湖南視學，一次微服私訪，物色人才。當走到彭玉麟的門前時，聽到有朗朗的讀書聲，便走近院落細聽，發覺朗誦的並不是四書五經之類科舉文章。高學政頓感奇怪，走進屋宇，雖非常簡陋，但門上卻有一幅對聯：
絕少五千柱腹撐腸書卷，
隻餘一副忠君愛國心肝。
高學政再一端詳，見字寫的雄偉有氣勢，可既不是歐體，也不是顏體，像未曾學過書法的人。於是學政到鄰居家，得悉彭玉麟的名姓及家世，心中暗喜。
兩個月後，高按臨湖南長沙府，得一試卷，見書法雄厚有力，似曾相識，恍然記起，當即選為第一。迨揭榜時，果然是彭玉麟，學政興奮異常。彭玉麟被召見時，高將前幾個月事告知，彭感恩知己，執弟子之禮。後來高致仕家居，子孫不能繼其業，而彭玉麟此時已升任巡撫，為報答知遇之恩，彭為恩師在今西湖高莊購園置地，以養餘生。
道光未年，新寧李源發率兵起義，彭玉麟以鎮壓有功賞藍翎，時衡陽江子春在耒陽開典鋪，請彭玉麟經理其事，每年收入頗豐，但多用來周濟貧窮人。當時太平軍由永安欲經過耒陽進攻衡陽，彭玉麟見耒陽縣令，問如何阻擊太平軍。縣令以無兵餉感到為難。彭玉麟說：“何患無兵餉，城中百姓召之即兵，吾典鋪中有錢取百萬即餉”。縣令喜出望外，將防備交彭玉麟。太平軍知耒陽有防，便直趨衡陽，彭玉麟自此名聲大起。
鹹豐四年（1854），曾國藩正在衡州、湘潭組建水師，廣求人才。先有曾國藩的弟弟曾國葆稱讚彭玉麟，後又有常儀安推薦彭玉麟膽略超人，曾國藩遂發書召他速來。可是彭玉麟剛剛喪母，在家守製不出。曾國藩再次勸出，並說：“鄉裏藉藉，父子且不相保，能長守邱墓嗎？”彭玉麟感其誠義，當即入軍。
曾國藩經過一年多時間的艱苦努力，終於建成一支既區別於八旗綠營，又遠遠超過其他團練、鄉勇的水陸齊備的湘軍。
對於曾國藩“別開生麵”組建湘軍的意義，他的四大弟子之一的薛福成在得出曾國藩“以團練始，不以團練終，且幸其改圖之速，所以能成殄寇之奇功”之後，又舉出了十幾位團練大臣固守舊製的悲劇結局：河南有內閣學士毛昶熙，雖亦自成一軍，但將士疲弱，頗不耐戰，隻是虛張聲勢，從未重創敵軍；山東有禮部侍郎杜，才力尤短，信任戚友，隱撓官吏之權，以致弱者抗糧自豪，強者揭竿而起，庫藏虛耗，上下交困；閻敬銘巡撫山東時，嚐為此大發感慨。又如浙東有前漕運總督邵燦，為巡撫王有齡所劾罷；繼之者為左副都禦史王履謙，與王有齡更不和，官紳忤於上，兵練哄於下，紹興失陷，杭州亦難固守；王有齡殉難，遺疏劾履謙加嚴譴，而事已不可挽回。又如通州有前湖南布政使王，怙勢作威，殺害避難紳商，侵奪良民財產，富擁專城，時太平軍未到，一方先被其毒。當太平軍勢力最盛時，江南則有侍郎龐鍾璐，江北則有左副都禦史晏端書，江西則有候補京卿劉繹，這幾位都是清望素著，不願多事，故當時民間皆不知有團練大臣，也是一時罕見。此外其他人老病侵尋，雖充團練大臣之數，口不言戰守事宜，一聞敵至，倉皇奔逃還來不及，更談不上其他作為了。在舉出以上諸多例證後，薛福成說：
嗚呼！自兵事起，世之談經濟者，措意才團練已數十年；曾文正公雖由此發軔，然惟早變其實，並變其名，所以能有成功，否則前事可睹矣。其賢者固束手無措，僅以一死報國，或明知無可發舒，潔身遠引而已；其不賢者則大吏，蠹國殃民，不啻為賊先導，求其能捍寇保境者，十無一二。蓋在上者以不必籌餉為便，不知百端流弊，皆由此起。
由此可見，曾國藩僅僅借用了“團練”之名，變的是“湘軍”之實。而且，轉變的非常及時，否則他也與其他團練大臣一樣，歸宿恐怕也是很慘的。就此而言，曾國藩確實高人一籌，把握住了時代賜予的機會，以及巧借清廷的政策。
四、營壘內部的矛盾
湘軍的創立，是曾國藩一生功業的基礎。但湘軍從籌創到發展，不但要觸及清朝原有軍政體製，引發外部矛盾，而且其營壘內部也非一帆風順。湘軍初期，曾國藩與王的予盾就頗為尖銳，以至於曾國藩不得不將王清出門戶。客觀而言，王在湘軍初期貢獻頗大。王本是羅澤南眾多弟子中的佼佼者。他比羅澤南小16歲。少時便自視甚高，他的啟蒙先生曾經對他做過這樣的評論：王讀書，窮極聖賢義理，誌量宏遠。嚐書數語於壁上，謂“置身萬物之表，俯視一切，則理自明，氣自壯，量自宏。凡死生禍福，皆所不計。
又說：
此人體貌清瘦，目光炯炯射人，聲大而遠，說話如在甕中，而滔滔不絕於詞。
24歲那年，王考中秀才，並轉拜羅澤南為師。羅澤南一見王，便覺此人頗不一般，因此耐心督教，希望他將來能光耀師門。而王對羅澤南也十分崇拜。他曾這樣評價羅澤南：
其學行才識，為當時所罕見。續千載之墜緒，辟吾道之榛蕪，倡明絕學，通達時務，誠為蒼生而出。
王治軍極嚴，常令士卒腳上縛鐵瓦練習越濠，所演練的陣法都是自己親自編製。每臨陣多以奇計致勝。士兵們演練陣法時，耳聽鼓聲，目視帥旗，穿梭往來，變化無窮，卻一點聲音都沒有。與太平軍交戰時，太平軍曾將貴重匣箱置於地上，以為誘餌，但王的兵士都將它丟棄一旁，“莫敢啟視”。一次追擊太平軍至嘉禾，途中糧草乏絕，不得已掘百姓山薯充饑，但士兵們都將銅錢藏入穴中。“以償其值”，百姓大為感動，民間有為王立生祠者。沒有戰事時，王教士兵讀《孝經》、《四書》、一時書聲朗朗，儼然是童子習課。可見，王是以小知識分子治軍的典型。而曾國藩初創湘軍，也多得益於王的經驗。