這期間，江內水師也增加了戰船，解決了供應和軍餉，開赴湖口，攻擊湖卡。7月，湖內水師統領蕭捷三在湖口戰死。曾國藩調彭玉麟從湖北趕往江西。彭玉麟此時正在湖南省親，聞命啟程，扮作商人穿越太平軍控製的地區，步行數百裏趕到江西南康府接任水師統領任。自此以後，湘軍水師正式分為內湖水師和外江水師，分別由彭玉麟和楊載福統帶，這成了湘軍水師的定製。
為適應湘軍的水戰，太平軍也在九江設立船廠，製造戰船，至鹹豐六年三月（1856年5月），已經製造了數百條戰船。這樣的發展形勢讓曾國藩感到不安。他怕太平軍水師過於強大，自己無法對付，於是命令楊載福伺機殲滅之。太平軍水師因為是初建，很難抵擋湘軍的攻擊，所以他們避開了外江水師的力量。楊載福選了三百名死士衝入太平軍水師營中，把他們的船隻全部燒毀，長江水域又全部為湘軍水師控製。曾國藩的努力終於沒有徒勞。
經過此番調整，湘軍的實力更加雄厚。水師力量的加強是明顯的，陸師力量留在江西由曾國藩直接指揮的部隊比原來減弱了一些。但羅澤南部開赴湖北，胡林翼以這支湘軍為主體不斷擴充，使這支部隊的力量不亞於曾國藩親自指揮的陸師。胡林翼原為曾國藩的部下，他的軍隊主力是曾國藩的部隊，他與曾國藩關係密切，在“中興名將”中地位與曾國藩相埒（liè），被人稱之為“曾胡”。他們的部隊一在長江上遊，一在長江中遊，相互照應，互為犄角，成為太平軍的兩個死對頭和主要敵人。他們在以後鄂、皖、贛、湘數省的作戰中相應契合，成為了太平軍失敗的主要原因。
整飭革新，再度操勞。
正當曾國藩大力興辦洋務事業並努力恢複因戰亂而殘破的江南經濟的時候，同治七年七月二十七日（1868年9月13日），曾國藩接到上諭，命他任直隸總督。
整個清代，直隸總督負有護衛京師的責任。因此，除了特殊的情形如對西北用兵、對太平天國用兵外，直隸總督一直是最重要的地方官，其次才是掌握最富庶的江南、供應朝廷財政需求的兩江總督。
曾國藩交代完兩江總督任內各事後，12月17日才登舟北上。
1869年1月25日，曾國藩抵達京師，自1852年離開都門，到現在已整整十七年過去了。這十七年風雨滄桑，曾國藩自身已經發生了巨大的變化，中國的變化更是巨大。京城裏麵，過去熟悉的麵孔好多已經不見了，鹹豐皇帝已死，新皇帝年紀尚幼，當年的軍機大臣已沒有一個在位，當初對他有恩的軍機大臣、大學士穆彰阿，在鹹豐帝即位後被罷免，現在也已死去十多年了。
天下大亂稍定，直隸的事情可以說是千頭萬緒。從哪裏著手呢？又該以什麼樣的態度辦這些事呢？曾國藩心中有數。他剛到保定，還沒有正式接印，就作了一副州縣官廳聯，聯中這樣說：“長吏多從耕田鑿井而來，視民事須如家事；吾曹同講補過盡忠之道，凜心箴即是官箴。”第二天，他對這個聯語不甚滿意，又另撰了一副：“念三輔新離水早兵戈，賴良吏力謀休息；願群僚共學龔黃召杜，即長官藉免愆尤。”寫了之後又不滿意，再撰一副：“隨時以法言巽語相規，為諸君導迎善氣；斯民當火熱水深之後，賴良吏默挽天心。”這三副聯語都表達了曾國藩此時的心情，那就是除了辦好練兵等事外，要整頓吏治，希望官員們能夠體恤民間的疾苦，認真辦事，修養生息，讓老百姓有個喘息的時間，恢複殘破的社會經濟，同時也就是鞏固大清朝的統治。雖然年事已高，曾國藩仍想勉為其難，做好這個直隸總督。
練軍隊是曾國藩上任直隸總督後的第一項任務。曾國藩在向兩宮皇太後請訓的那一天，上過一個“略陳直隸應辦事宜”的奏折，其中第一條說的就是練軍隊的事情。長期以來，特別是第二次鴉片戰爭以來，直隸的軍隊衰弱不可用，直隸的防務十分空虛。剿撚戰爭時，西撚軍曾衝入直隸一帶，直隸根本無可與撚軍一戰的軍隊，全靠外調來的軍隊，清廷應該也不希望再發生這樣的事情。另一方麵，京師離海較近，兩次鴉片戰爭中，英、法軍隊隨時可到天津海口騷擾、威脅，而1860年又占領京師，因此直隸急需較有戰鬥力的軍隊。
怎樣訓練、充實直隸的軍隊呢？曾國藩先要借重的是淮軍。
曾國藩認為，淮軍中最好的將領是劉銘傳，其所率銘軍的戰鬥力是淮軍中最強的。因此，他要用劉銘傳所部銘軍一萬多人拱衛京師。當時劉銘傳因為朝廷對剿撚戰功的獎賞不公，憤而告病在家。清政府中有人主張戰事既已結束，應將勇兵包括劉銘傳所部全部裁撤；有人主張另派統領。曾國藩堅持不另派統領，不裁撤銘軍，暫由劉銘傳部下劉盛藻統帶。
但是劉銘傳一軍隻有一萬多人，實力尚覺不足。曾國藩認為至少還需要一萬人。這一萬人的軍隊不能再靠湘淮軍，須另外訓練軍隊，這就是從綠營中抽調出來的練軍。