就是這樣一群書生聯手創建了湘軍。不過當時的“湘軍”與今天所說的“湘軍”，意義不盡相同。郭嵩燾稱鹹豐四年（1854）“立水陸各十營，號曰湘軍”，認為一建軍便稱湘軍；胡林翼在鹹豐九年致李續宜的一封信中稱“湘軍萬人循固始、商城，出六安”。在這期間，湘軍各主要領導人對所統之軍尚無統一和公認的名稱，他們所稱的湘軍隻是今天意義上的湘軍中的一支。至於把曾、左、胡等人所統之部隊概稱為湘軍究竟始於何時，尚待進一步探求，但王闓運在光緒初年撰寫《湘軍誌》時，確已這樣做了。湘籍學者梁紹輝認為，“湘軍”之名，始於《清代大事年表》所記載的“鹹豐三年七月，曾國藩遣湘軍馳援江西”，也就是說湘軍因為出省作戰，為了區別於他省軍隊，才被稱之為“湘軍”。
曾國藩在後來的奏折中敘述這次出省作戰的經過說：“（鹹豐三年）五月十八日，江西省城被圍，前安徽撫臣江忠源招募湘勇2000人，楚勇1000人，配以三廳兵800人，赴江救援。其監護軍行者則有夏廷樾、易良幹、羅信南、康景輝、楊虎臣等，而羅澤南亦自帶一營。七月二十日，軍至南昌。二十四日因進兵太銳，先勝後挫，謝邦翰、易良幹及羅信南之弟羅信東等同時陣亡，此湘勇出境剿賊、帶勇紳士力戰捐軀之始也。”
自古英雄多磨難，從來瓜兒苦後甜。湘軍一起步就遭受了這樣的損兵折將。靠舞文弄墨起家的湘軍統帥們，憑耕刨犁耙養家的湘軍勇丁們，要想成為大廈將頃的清王朝的中流砥柱，顯然還需要經過一番脫胎換骨的磨練。
“奇男子”練水師
如果把湘軍作為一個總體或者集團來對待，那麼，湖南新寧應該是湘軍的發祥地；如果把範圍縮小到由曾國藩創建，並由他指揮的那一部分湘軍，那麼，湖南衡陽則是它的發祥地。
從曾國藩鹹豐三年八月二十七日到達衡陽的那一天開始，到他於鹹豐四年正月二十八日從衡陽出征的時候結束，他在這裏待了整整五個月。
鹹豐三年（1853年），中國近代史上的第一支新式地主武裝湘軍產生了。按最初的計劃，隻想編練一萬人，但因曾國藩的號召力很強，軍餉發的也高，很快便超過了這個數字。
陸師的編製是：塔齊布、羅澤南、鄒壽章、周鳳山、儲玫躬、曾國葆、朱孫詒、鄒士琦、楊名聲、林源恩各領一營，每營500人，共是5000人。王錱一人原領六營，約2400餘人，曾國藩命其縮編為三營、1500人統帶，王錱不服，率軍投湖南巡撫駱秉章而去。
水師的籌建稍晚於陸師。1852年底，太平軍進攻益陽、嶽州，得到大批船隻，遂建水師。後由武漢攻南京，千船萬舸，蔽江而下，控製了千裏江麵。迫於應付太平軍的水師攻擊，鹹豐三年，清政府飭令湖南、湖北、四川造船練兵。湖南巡撫駱秉章自認建水師困難，沒有進行。而郭嵩燾親見太平軍的水上作戰，往來迅捷，遂建議江忠源再度上書，要求清廷撥款造船，編練水師。鹹豐準奏，命令廣東購置洋炮，兩湖、四川造戰船，建立水師，對抗太平軍。
鹹豐三年（1853年）冬初，曾國藩奏請撥款四萬兩，在衡州建立造船廠，日夜趕造戰船。他請來廣西同知褚汝航、嶽州守備成名標督造船隻，從廣西速購大批木材。到鹹豐四年初，湘軍水師成軍，共有戰船三百六十一號，有拖罟（gǔ，大綱）大船一號、快蟹四十號、長龍五十號、舢板一百五十號、改裝魚船一百二十號。船上共裝大炮470門，新式洋炮320門。
水師成軍之初，人數與陸師相等，也編為十營，官管由褚汝航、夏鑾、胡嘉垣、胡作霖、成名標、彭玉麟、楊載福、龍獻深、鄒漢章、諸殿元十人擔任。水營的招募從時間上看雖不太遲，但招募過程卻很曲折。本來湖南之衡州、郴州、桂陽、永州一帶多有習水性之人，也樂於應募，但曾國藩卻不願在那裏招募。其原因一是陸師多在湘鄉一帶招募，水師也想在那裏招募；另一原因是湘南一帶多次發生起義，會黨勢力很大，曾國藩也不敢在那裏招募。湘鄉的壯丁多已參加了湘軍和地方團練，又不習水性，所以不願受招。但曾國藩利用各種關係，日夜說服動員，正好湘鄉一帶發生旱災，百姓受災生活困難，湘軍的待遇又好，所以才紛紛投軍，使水營也較快成軍。