可湘潭之戰的勝利並沒有衝散靖港失敗給曾國藩帶來的恥辱。靖港失敗後，曾國藩曾七天七夜沒跟人說一句話，他陷入深刻的反省與思考中。勝敗乃是兵家常事，但此次失敗成為曾國藩“咬牙立誌”的關鍵一次。曾國藩後來說，他平生有“四大慚”，即四大恥辱，而靖港之敗是其一，他說：“甲寅年嶽州、靖港敗後，棲於高峰寺，為通省官紳所鄙夷”，但他經曆“此一磨折”，後來才有成功。他還說，他一生“打脫牙之時多矣，無一次不和血吞之”，靖港之敗亦是“打脫牙之時”。而“打脫牙和血吞”不是目的，“生平咬牙立誌，徐圖自強”才是目的。
曾國藩善於從失敗中總結教訓。他認為一年來編練的湘軍，到實戰之中有的敢戰、有的一觸即潰，要在湘軍中樹立“不怕死”的精神，現在正是該嚴厲整頓的時候。
湘軍始建之初，水陸師不僅缺乏實戰經驗，組織指揮係統上也未能做到層層節製。而臨陣作戰時，論膽量技勇，兵不如勇，論紀律則勇不如兵。因此曾國藩認識到，必須有得力人員協同管帶，加強文武官員的層層節製，才能相互維係。過去，湘軍每營僅有一二紳士主持，故紀綱不密，維係不固。靖港之役，就錯在“但知輕進之利，不預為退步之地”。而水師之弊，在於沒有經戰陣之兵勇，全是招募船戶水手，編組成軍，訓練未滿一月就拉上前線，故臨陣膽怯。因此，曾國藩此後很重視老兵的作用，水陸兵勇編組時，務須新老兵勇互相搭配。
在指揮係統方麵，重要的變化是增加統領一級。過去，湘軍陸師的編製最高為營一級，由曾國藩直接統轄調遣。營以上設立統領，統率二營或數營。陸師以羅澤南、塔齊布等為統領，水師以楊嶽斌、彭玉麟等為統領，由統領指揮營官，曾國藩則指揮統領。這樣，在湘軍中便出現了旅、團一級的編製，而在實戰中，指揮也確實靈便，兵力使用相對集中，比較能適應戰爭形勢的變化。在水師方麵，一方麵谘劄李孟群招募兩廣水勇一千名，於五月抵達長沙；另外，谘調陳輝龍率廣東水師四百名前來參加湘軍水師。這支水師配用湖南舵工、水手，以利控製。尤其是在裝備上多加洋炮，現在隻來六百尊，不足分配。因此，曾國藩又奏請清廷讓兩廣總督購買夷炮數百尊解來長沙。長沙整軍後的湘軍水陸師，共計一萬五千名左右，其戰鬥力遠較衡州出師時強大。曾國藩還認識到，此次靖港之敗，也由於賞罰機製沒有建立起來。他感到，古人用兵，都是先明功罪，但今天多是患難之交，投奔大營來並非是為利祿驅使，因此所訂法條難以施行，所以“兩次致敗，蓋由於此”。有鑒於此，這次他駐紮在長沙城南門外的妙高峰上整頓營務。規定：凡是臨陣脫逃的將領，不再錄用。湘鄉團練最早的組織者原湘鄉知縣朱孫詒，因在寧鄉、嶽州戰役中臨陣脫逃，被曾國藩斷然逐出湘軍。曾國藩的弟弟曾國葆也在被裁之列。
這次整頓，在湘軍史上稱為“長沙整軍”，是極重要的一次事件。湘軍以後的能戰，同這次整軍有極大關係。每天清晨，長沙城外的演武場上，陸師在塔、羅的指揮下認真訓練；水陸洲畔的江麵上，彭、楊指揮水師演練攻守。曾國藩每天穿戴整齊，親臨檢視、訓話。他還親自編寫了《得勝歌》，請人譜曲，讓官兵每天演唱，鼓舞士氣。
經過長沙整軍，湘軍實力大增。“規模重整，軍容複壯矣”。鹹豐帝的上諭又稱“肅清江麵之舉，仍借此一軍，以資得力”。因此，湘軍士氣也受到鼓舞。六月，修造戰船的工作已經完成，廣東總兵陳輝龍也到達長沙，添造淺水拖罟二號，李孟群到廣西招募的水手一千餘名也回到長沙，與曾國藩所募水勇日夜操練。