事情到了這個地步，曾國藩已經徹悟了水師的重要性。但是鹹豐千呼萬喚的水師在哪裏呢？曾國藩並非沒有嚐試創建水師，但他的努力失敗了。木筏造過了，可是無法使用；水師的戰艦湖南沒人見過，幕僚們麵麵相覷，不知該從何下手。
曾國藩日思夜想，廣泛聽取意見。嶽州營的守備成名標、廣西候補同知褚汝航、知縣夏鑾等，先後奉派來到曾國藩的行轅。曾國藩請他們做了幕僚，詢問拖罟、長龍、快蟹、舢板各種船隻的式樣，然後召集衡州和永州兩地的工匠，按圖製造。曾國藩也成為設計師中的一員，細心鑽研，不遺餘力。
這時候，廣西巡撫勞崇光派人押送二百尊火炮前往湖北，船過衡州。曾國藩得到消息，趕緊把押送官請上岸，說：“這批火炮是要送往田家鎮的炮台安裝的，可是那裏的駐防軍已經潰敗，你們還能往哪裏送？不如將炮位留在此處，也請押運的各位水手留下，為我們教練水師。”
炮位留下來了，經費還是不夠。湖南的財政部門無法滿足他的需求，軍餉還得靠募捐接濟。曾國藩選派秀才和紳士，在各州縣設立募捐局，但是不用官印，以防強權勒索。他自己印刷軍功執照，蓋上巡撫和布政使的印章，按照所捐的數額填發給捐款人，從六品到九品不等。
十一月二十六日，曾國藩終於給了皇上一點安慰。他向鹹豐奏報，說他正在籌備水軍和陸軍，準備開往安徽作戰。但是戰船火炮和水軍還未集結，他在等待廣西右江道張敬修購辦外國炮和廣東炮一千尊，帶領工匠從廣東來湖南。張敬修來後，湘軍便可開拔。
曾國藩為了解決湘軍在征途上吃飯的問題，奏請設立水路糧台，從湖南的漕米中提取二三萬石，作為湘軍的糧食供給。為了確立使用捐款的合法性，他請皇上批準將他經手勸捐的款項用於湘軍的軍餉。為了進一步提高紳民捐款的積極性，又請求允許他隨時發放吏部的賣官執照。對於曾國藩的請求，鹹豐全部照準，還安排吏部給了他一些蓋了大印的空白執照，可以隨時填寫，用來從捐生手中兌換銀子。在這種意義上說，曾國藩的軍隊無論用的是財政撥款還是民間捐款，都是經過朝廷批準的款項，而捐款一項，是用作為國家資源的官銜來交換的。
曾國藩原來的打算是增募六千名步兵交給江忠源統帶；奉旨籌備水師之後，他擴展了原來的計劃，決定建立一支包括水軍和陸軍的萬人大軍，由他親自率領，大舉東征。江忠源從廬州發來求援信，語氣非常迫切。為了給江忠源救急，曾國藩和駱秉章商議，決定派江忠浚率領一千名新寧勇增援廬州，曾國藩自己則留在湖南抓緊經營戰艦。
這時曾國藩已形成了一個具體的進軍方案。他要製造二百艘炮船，率領水師從江路進發，雇用二百條民船跟隨在炮船之後；陸軍則從大江兩岸隨同推進。執行這個構想需要巨大的經費，還要取得中央政府和湖南政府的大力支持。他與駱秉章書函往還，請求援助，駱秉章大致滿足了他的需求，使這番大業得以完成。曾國藩把自己比為“蚊虻負山、商距馳河”，又說是“精衛填海、杜鵑泣山”，表明他在擴軍時期所經曆的艱難。鹹豐三年的冬季，曾國藩克服重重困難，終於建立起了鎮壓太平軍的利器——湘軍水師，為他戎馬生涯的輝煌鋪墊了底色。
十二月一日，曾國藩委派褚汝航前往湘潭設立一座分廠，監造戰船，衡州造船廠則委派成名標監督。他們製造的戰船分為大、中、小三號，大號的叫做“快蟹”，中號的叫做“長龍”，小號的是從民間購買的釣鉤船，改造為炮船。褚汝航在湘潭添造了幾十艘舢板和小艇。兩座造船廠的產品進行比較，各用其長，湘潭船廠的產品較為堅利。