為重振水師，他命令在湖北新堤的造船廠，要不分晝夜，不惜任何代價盡快為他修複舊船、趕造新船。上次派彭玉麟回師湖北，其實際目的也是派彭玉麟到金口修複船隻，另外讓他到湖南去招募新勇，擴充水軍。對於那多條被困在鄱陽湖內的舢板，他更是心急如焚。因為這些舢板沒有輜重大船隨行，不但無法衝出鄱陽湖，甚至連自身的生存都出現了很大困難。為了解決這一問題，曾國藩親自跑到江西省城南昌，與巡撫陳啟邁商量，央求他為湘軍造長龍船三十號，交給內湖水師使用。經過一番努力，到1855年7月份，湘軍的外江水師又擴充到十營五千人。基本上恢複了原來的規模。同時，內湖水師也擴充到八營四千人，供給吃飯問題也基本得到解決。曾國藩急忙令彭玉麟化裝成商販，經過太平軍的控製區，與內湖水師取得聯係。然後由他帶領這支隊伍駐紮在南康府，伺機衝出湖口，與外江水師會合。
這期間，江內水師也增加了戰船，解決了供應和軍餉。開赴湖口，攻擊湖卡。7月，湖內水師統領蕭捷三在湖口戰死。曾國藩調彭玉麟從湖北趕往江西。彭玉麟此時正在湖南省親，聞命啟程，扮作商人穿越太平軍控製的地區，步行數百裏趕到江西南康府接任水師統領任。自此以後，湘軍水師正式分為內湖水師和外江水師，分別由彭玉麟和楊載福統帶，成了湘軍水師的定製。
為適應湘軍的水戰，太平軍也在九江設立船廠，製造戰船。至鹹豐六年三月（1856年5月），已經製造了數百條戰船。這樣的發展形勢讓曾國藩感到不安。他怕太平軍水師過於強大，自己無法對付。於是命令楊載福侍機殲滅之。太平軍水師因為是初建，很難抵擋湘軍的攻擊，所以他們避開了外江水師的力量。楊載福選了三百名死士衝入太平軍水師營中，把他們的船隻全部燒毀，長江水域又全部為湘軍水師控製。曾國藩的努力終於沒有徒勞。
經過此番調整，湘軍的實力更加雄厚。水師力量的加強是明顯的，陸師力量留在江西由曾國藩直接指揮的部隊比原來減弱了一些。但羅澤南部開赴湖北，胡林翼以這支湘軍為主體不斷擴充，使這支部隊的力量不亞於曾國藩親自指揮的陸師。胡林翼原為曾國藩的部下，他的軍隊主力是曾國藩的部隊，他與曾國藩關係密切，在“中興名將”中地位與曾國藩相埒（liè），被人稱之為“曾胡”。他們的部隊一在長江上遊，一在長江中遊，相互照應，互為犄角，成為太平軍的兩個死對頭和主要敵人。他們在以後鄂、皖、贛、湘數省的作戰中相應契合，成為了太平軍失敗的主要原因。
要錢沒錢要糧沒糧，命懸一線
一般情況下，能做事的人總是能得到領導的垂青，有什麼要求也很容易得到滿足，因為他為領導解決了問題。此時的曾國藩，卻是被他的領導——鹹豐帝冷落了。在江西，由於戰事的不順利，湘軍在給養上也遭遇到了很大的麻煩。最初，曾國藩籌餉的基本辦法是留下比中央財政所能提供的更多的資源，也就是說，曾國藩會同地方大員製定出了一些新的收入政策，來保證軍餉的發放。主要措施包括：
設置一些不受戶部直接控製的新的地方歲入項目，將這些所得截留；
部屬一旦就任撫督之後，便將歲入權集中在自己手中，避開戶部的幹預，將其中的一部分用於湘軍的供給；
賣官鬻爵——在湘軍興辦之初，湖南巡撫駱秉章為了支持曾國藩，把這一項權力交給了曾國藩。這樣，出售官銜所得成為早期湘軍主要經費來源之一。
隨著湘軍人數的增加，到了後來，這三項措施用到了極致，也無法保證軍隊的供給，湘軍欠餉情況非常嚴重。因為欠餉，軍士們士氣低落，開小差的，圖謀不軌的，不乏其人。內部軍心不穩讓曾國藩尤為擔心。由於曾國藩沒有地方大權，他所帶的湘軍在江西又屬外來軍隊，所以，很多當地官吏都視曾國藩的湘軍為額外負擔。用得著時，供給還算及時，用不著時，供給就變得拖拖拉拉。打了勝仗沒有獎勵，如果戰敗，則備受譏笑，供給更是不用說了。曾國藩雖然掛了一個兵部侍郎和團練大臣的頭銜，但那些大大小小的地方官一直存有戒心，經常陽奉陰違，硬磨軟抗，有時甚至還為曾國藩設計陷阱，讓他自己往下跳……這些亂七八糟的事情疊加在一起，千頭萬緒，讓曾國藩困頓無比。雖然曾國藩的意誌一如既往的堅定，但每每遇到這樣的麻煩，也感到束手無策，忍不住長籲短歎，甚至會激起憤怒。
“彭壽頤事件”和“畢金科事件”是最讓曾國藩憤怒的兩件事。
當初，曾國藩初入江西時，陳啟邁任江西巡撫。陳啟邁是湖南人，並且跟曾國藩一樣，也曾為翰林院官。按說，他們既是同鄉，又是同年，陳啟邁應該格外關照曾國藩。但事實並非如此。陳啟邁經常跟曾國藩過不去，動不動就以不給餉來要挾。曾國藩為了顧全大局，一直忍氣吞聲。比如。陳啟邁不經曾國藩同意，擅自調動湘軍，忽東忽西，忽南忽北，朝令夕改，製造摩擦；羈押湘軍營官副將周鳳山於長江縣；刑辱參將李成謀於芷江縣……這些，曾國藩都忍了。孰料，陳啟邁越做越過分。有一次，萬載縣有一個叫彭壽頤的舉人，在鄉下辦團練，對抗太平軍很有成效，打過幾次小勝仗。曾國藩很賞識此人，想把這支民間力量納入湘軍。陳啟邁聽說後，故意以一個莫須有的罪名，將彭壽頤押進大牢，嚴刑拷打。曾國藩實在氣極了他很快收集了陳啟邁許多罪名，向朝廷參了一本。罪證確鑿之下，朝廷將陳啟邁革職查辦。不料，新上任的巡撫文俊仍跟曾國藩過不去——事後看來，地方大員跟曾國藩的衝突，主要來源於利益。巡撫是一個省的當家的。不當家，哪知收支的艱難呢！一個當家的跟一個要錢的人產生矛盾，也是最正常不過了——湘軍有一支駐守江西樟樹一帶，領軍的叫畢金科，文俊很長時間不給這支湘軍供給。眼看畢金科部彈盡糧絕，快支撐不下去了。文俊讓人傳話，如果畢金科部能拿下景德鎮的話，馬上就給他們發餉。在這種情況下，畢金科和他的部屬隻好以死相拚。在數萬守城的太平軍麵前，畢金科帶領一千多人攻城，無異於以卵擊石。結果畢金科部全軍覆沒，畢金科本人也戰死。消息傳到曾國藩這裏，曾國藩恨得咬牙切齒，這明顯就是借刀殺人啊！數年之後，曾國藩攻克景德鎮，特地在畢金科喪命的地方立下石碑一塊，親自撰寫碑文。文中對於畢金科遭受陷阱一事，仍舊忿忿不平。