水師的營官招募也很困難。在剛剛開始創立的時候，曾國藩並不知道籌措水師需要做哪些工作，於是就四處谘詢，幸賴彭玉麟、楊載福出為營官，才使水師成軍，而二人終成湘軍名將。
彭玉麟是清末的一個傳奇人物，年輕時被傳為剛直而又多情的“奇男子”，投軍之時被稱為“不怕死，不要官”的名將。
彭玉麟，字雪琴，衡陽人，即衡州西北蒸水之濱的衡陽縣人。幼年喪父，家貧，隨舅父去安徽蕪湖讀書，在那裏他結識了與他同齡的外祖母的養女小梅。兩人一天天長大，也開始漸生情愫。彭玉麟17歲那年接到噩耗，祖母病故，作為長孫的他必須回衡陽盡孝。離別時他跟小梅承諾一定會回蕪湖娶她。無奈彭玉麟家境貧苦，母親靠紡線供玉麟讀書，無法拿出返回蕪湖的川資。一別七年，直到外祖母病故他才得以再次去蕪湖，可這時小梅已經埋骨鬥笠嶺很久了。彭玉麟在外祖母和小梅的墳前呼天搶地，悲痛欲絕。此後，他誓不再娶，母親每逼問，唯一語：“男兒功名未成，何談婚事。”好在弟弟已成家，並生有兒女，母親遂不再催問。但是，彭玉麟僅在十幾歲時中了秀才，以後再未赴考。開始在衡陽綠營副將手下充掌書記，又為一富商看守倉庫。有空即讀《公瑾水戰法》，又最愛畫梅，幾案箱籠，所處皆滿。到曾國藩練湘軍那年，彭玉麟已三十七歲了，仍是單身漢。
鹹豐二年（1852年），耒陽地區發生武裝暴動，急迫時，守城官募兵無以應，當時彭玉麟仍在耒陽富商家受雇，當機立斷，發主人庫存募勇守城。事息，城官保為綠營把總，彭玉麟一笑置之，並不受賞，被傳為士林中少見之英傑。
曾國藩打聽到彭玉麟的為人處世，尤其是此人熟讀《公瑾水戰法》，生在蒸水之濱，水性好，跑馬射箭、槍法、拳術也都有功底，曾臨戰之功而不受獎賞。於是派人請他參加湘軍，做水師將領。幾次派人去請，彭玉麟也不受命。後曾國藩仿效劉備三顧諸葛的故事，親往彭玉麟處相請，曾國藩見這位年近四十的漢子，依然長身玉立，英邁嫻雅，十分敬佩。乃溫言相勸，多方激勵，方請得彭玉麟出山，做了水師的一個營官。
楊載福，又名楊嶽斌（投軍後因避鹹豐之名載淳諱而改），湖南善化（今長沙）人。祖、父皆行武，有戰功，父為遊擊官銜。居湘江濱，水性極佳。早年入行伍，參加鎮壓李沅發起義，升為千總。曾國藩辦水師，把楊自長沙綠營中調為水師營官。
彭玉麟、楊載福入水師，為湘軍水師的建設大出其力，成為湘軍水師齊名的兩個統領。彭、楊等水師營官每日抓緊指揮練習水戰，至1854年2月，湘軍水師終於練成。
此時，太平軍先於鹹豐三年二月（1853年3月）在南京建都，5月出師北伐和西征。西征軍沿江西進、攻占安慶、九江、漢口、漢陽，江忠源向皇帝奏報，請鹹豐下旨讓湘軍出師作戰。幾次催促，曾國藩皆以水師未成，船炮不齊，編練未就而拒不出戰。鹹豐幾度下旨催逼，曾國藩提出一個三江、兩湖數省軍隊統一部署、聯合行動的戰略計劃，遭到鹹豐的斥責。原來，鹹豐此時並不知曾國藩的長遠謀略，亦不知湘軍水陸的實際情況，催他作戰，也隻是以為湖南鄉勇可用，讓他配合綠營。豈料曾國藩不僅不出，反提出數省合防的戰略計劃，便以為他口出狂言，下旨斥責說：“今觀汝奏，直以數省軍務一身克當，試問汝之才力能乎否乎？平日漫自矜詡，以為無出己之右者！”曾國藩接旨，既憤激，又惶恐。憤激者，以為兩年前自己的犯顏直諫，鹹豐仍耿耿於懷，且不理解他編練軍隊的“血誠”；惶恐者，太平軍勢力浩大，綠營軍三年的慘敗，他若率師作戰，是否能勝，確無把握，若一旦失敗，就真的是貽笑天下了。