水師成軍之初，人數與陸師相等，也編為十營，官管由褚汝航、夏鑾、胡嘉垣、胡作霖、成名標、彭玉麟、楊載福、龍獻深、鄒漢章、諸殿元十人擔任。水營的招募從時間上看雖不太遲，但招募過程卻很曲折。本來湖南之衡州、郴州、桂陽、永州一帶多有習水性之人，也樂於應募，但曾國藩卻不願在那裏招募。其原因一是陸師多在湘鄉一帶招募，水師也想在那裏招募；另一原因是湘南一帶多次發生起義，會黨勢力很大，曾國藩也不敢在那裏招募。湘鄉的壯丁多已參加了湘軍和地方團練，又不習水性，所以不願受招。但曾國藩利用各種關係，日夜說服動員，正好湘鄉一帶發生旱災，百姓受災生活困難，湘軍的待遇又好，所以才紛紛投軍，使水營也較快成軍。
水師的營官招募也很困難。在剛剛開始創立的時候，曾國藩並不知道籌措水師需要做哪些工作，於是就四處谘詢，幸賴彭玉麟、楊載福出為營官，才使水師成軍，而二人終成湘軍名將。
彭玉麟是清末的一個傳奇人物，年輕時被傳為剛直而又多情的“奇男子”，投軍之時被稱為“不怕死，不要官”的名將。
彭玉麟，字雪琴，衡陽人，即衡州西北蒸水之濱的衡陽縣人。幼年喪父，家貧，隨舅父去安徽蕪湖讀書。外祖母有一養女小梅，與玉麟年齡相仿，舅父無子女，玉麟與小梅猶如親兄妹，深受長輩的喜愛。玉麟與小梅雖輩分有別，玉麟稱之為小姨，但全家上下隻此一對小男女，並無輩分之別。玉麟與小梅青梅竹馬，兩小無猜，相處甚洽。玉麟每天上學，小梅都給他準備好文房四寶，送出門外；每天放學，小梅總去接他；晚上玉麟讀書，小梅為他掌燈，添油；玉麟愛畫畫，小梅為他研墨、鋪紙。
時間一天天過去，玉麟和小梅一天天長大，純真的情誼在這對小男女之間堅實地、一點一滴地滋長起來。他們雖都知道雙方並無血緣關係，可是名分上的小姨與外甥怎好成親呢？愛情的力量太不可思議了，玉麟17歲那年，衡陽傳來凶信，祖母病故，他是長孫，必須回去盡孝。就在那苦苦分離之際，愛情之花抽蘖而出，小梅羞麵如花，贈給玉麟一個鴛鴦荷包。玉麟緊握小梅的雙手，吐出了藏在心裏好久的愛慕之情，堅定地說：“等著，我回來娶你！”
可是，彭玉麟回到衡陽，家境貧苦，母親靠紡線供玉麟讀書，無法拿出返回蕪湖的川資。一別七年，直到外祖母病故，他才得以再次去蕪湖，而這時小梅已經埋骨鬥笠嶺很久了。
彭玉麟在外祖母和小梅的墳前呼天搶地，悲痛欲絕。他以淚水和墨，寫了悼念小梅的詩，其中一首是：
“少小相親意氣投，芳蹤喜共渭陽留。
劇憐窗下廝磨慣，難忘燈前笑語柔。
生許相依原有願，死期入夢竟無由。
鬥笠嶺上冬青樹，一道土牆萬古愁。”
此後，他誓不再娶，母親每逼問，唯一語：“男兒功名未成，何談婚事。”好在弟弟已成家，並生有兒女，母親遂不再催問。但是，彭玉麟僅在十幾歲時即中了秀才，以後再未赴考。他開始在衡陽綠營副將手下充掌書記，又為一富商看守倉庫；有空即讀《公瑾水戰法》，又最愛畫梅，幾案箱籠，所處皆滿。到曾國藩練湘軍那年，彭玉麟已三十七歲了，仍是單身漢。
鹹豐二年（1852年），耒陽地區發生武裝暴動，情勢危急，守城官募兵無以應，當時彭玉麟仍在耒陽富商家受雇，他當機立斷，發主人庫存募勇守城。事息，城官保之為綠營把總，彭玉麟一笑置之，並不受賞，被傳為士林中少見之英傑。
曾國藩打聽到彭玉麟的為人處世，尤其是得知此人熟讀《公瑾水戰法》，生在蒸水之濱，水性好，跑馬射箭、槍法、拳術也都有功底，曾臨戰之功而不受獎賞，於是派人請他參加湘軍，做水師將領。曾國藩幾次派人去請，彭玉麟也不受命，後來曾國藩就仿效劉備三顧茅廬的故事，親往彭玉麟處相請，曾國藩見這位年近四十的漢子，依然長身玉立、英邁嫻雅，十分敬佩，乃溫言相勸，多方激勵，方請得彭玉麟出山，做了水師的一個營官。
楊載福，又名楊嶽斌（投軍後因避鹹豐之名載淳諱而改），湖南善化（今長沙）人。祖、父皆行武，有戰功，父為遊擊官銜。居湘江濱，水性極佳。早年入行伍，參加鎮壓李沅發起義，升為千總。曾國藩辦水師，把楊自長沙綠營中調為水師營官。
彭玉麟、楊載福入水師，為湘軍水師的建設大出其力，成為湘軍水師齊名的兩個統領。彭、楊等水師營官每日抓緊指揮兵士練習水戰，至1854年2月，湘軍水師終於練成。