太平天國革命前，清政府沒有自己的海軍，僅有綠營水師。綠營水師分為外海和內江兩部分，它們僅作為陸軍的附屬，“均為捕盜緝奸”而設，實不能作戰。相比之下，太平軍於1852年底，在湖南益陽、嶽州等地建立水師，粉碎了清朝“廣西炮船”、“江南水師”的抵擋，控製了長江中下遊地區。
在當時的形勢下，曾國藩十分清楚，要攻克天京，首先得控製長江，而控製長江，便要有一支比太平軍水師更為強大的水師，長江千裏，“必以戰船為第一務”對付太平軍，“非舟楫無與之爭利害”。於是曾國藩不惜重金，努力搞起一支內河水師，且在技術裝備上，大大超過了太平軍。經過幾年激戰，曾國藩不僅依靠湘軍水師奪取了長江水麵的控製權，而且將湘軍水師發展成為獨立的軍種，能密切配合陸軍作戰，發揮了特殊的作用。如1863年6月，曾國藩在圍攻天京時，調鮑超率陸軍攻占浦口，隨後掩護水師攻陷了太平軍堅固設防的九伏洲。湘軍水師的這一戰果，不但突破了太平軍的長江防線，而且完全切斷了天京與江北聯係的唯一通道和物資供應線。關係委實非淺，可以說是圍攻天京的第一個關鍵性勝利。所以清政府在重占金陵後，論功行賞，稱“論平寇功，以國藩創立舟師為首”。
湘軍水師的籌建晚於陸師，它是在曾國藩移駐衡州後開始的，但是在湘軍係統中，水師的技術裝備遠遠勝於陸師。從它成立之初起，曾國藩便多方采購大量的洋槍洋炮，用以裝備水師，他的炮船非“夷炮”不用；相繼在湖南、江西等處正式設船廠製戰船，使船廠為湘軍水師提供可靠後勤保障；拋除舊綠營水師的積習，加強湘軍水師訓練。這樣，就將湘軍水師建成為當時中國技術最先進的內河水師，而不是一支照例使用舊裝備的地方部隊。
對湘軍水師的發展，曾國藩的眼光是深遠的，他能正視水師和近代海軍的差別，他說“輪船之於長龍、三板，大小既已懸殊，遲速更若霄壤”，深感水師不適於出海作戰，船隻亦不能與西洋輪船相比。因此曾國藩乃萌生出“師夷智以造炮製船”的想法，決心試製新式船隻，建設近代海軍。1861年，曾國藩在安慶建立了我國第一個近代軍事工業——“安慶內軍械所”，該所不僅製造洋槍洋炮，而且還成功地仿造出了中國的第一隻小輪船——“黃鵠”號木殼小火輪，中國近代造船業由此開端。曾國藩還派容閎去美國采購機器，籌建了江南製造局，生產出了一些兵船及船上大炮。他還以江南製造局為中心，建立上海編譯局，大量翻譯有關船炮製造和海軍技術等方麵的外國書籍，這些書籍使中國更深入了解西方船炮技術，促進近代海軍的發展。他還會同丁日昌初擬核定外海水師章程，提出建立三支海軍，其中“浙江、江蘇建於吳淞；山東、直隸建於天津；廣東、福建建於南澳，各備輪船十號、艇船二十號、專泊洋麵”。以後清朝的南洋、北洋、福建三大海軍艦隊的建立和布局，基本上沒有脫離曾國藩最初的設想。由此可見，曾國藩對近代海軍的影響和作用是十分明顯的。