此時的曾國藩越來越清楚，中國必須自強。
怕洋人參與得越來越多，曾國藩反複叮囑在上海和洋兵一起守城的李鴻章，讓他以湘軍為主，洋兵為輔，不能讓洋人喧賓奪主。同時還告誡他，一定要有主見，不能受製於洋人，作戰一定要勇敢，不能被洋人看不起，等等。
曾國藩的這些舉動，完全是出自“既要利用洋人，又要積極防範”的考慮。
爭回中國海軍大權
1861年底，為了自強，也為了發展水師，曾國藩向清政府上奏疏，稱要購置外國船炮，建立近代化海軍。在奏疏中，他特別指出，這支艦隊必須“操縱自如，指揮由我”。每隻船上隻能“酌留外洋三四人，令其習槍習火”。
時任中國海關總稅務司的英國人李泰國受托承辦此事，並違背清政府的旨意，擅自和英國皇家上校謝拉德?阿斯本簽訂了合同，規定由阿斯本擔任艦隊總司令，阿斯本隻執行由李泰國轉達的中國皇帝的命令，而不執行“經由其他途徑傳達之任何諭旨”。阿斯本認為不能滿意的命令，李泰國也答應拒絕代為中轉等，完全暴露了他們企圖控製中國海軍的陰謀和野心。
麵對合同裏“事事欲由阿斯本專主，不肯聽命於中國，尤為不諳體製，難以照辦”的字眼，清政府當然不願意，要艦隊歸中國政府管轄，阿斯本則堅決拒絕，還稱如果讓艦隊歸中國政府管理，他情願把艦隊帶回英國，他的主張得到了英國政府的支持。
此時南京即將收複，艦隊之事迫在眉睫，清政府準備妥協。
如果真讓洋人控製艦隊，中國隻是名義上的管理人，那真是奇恥大辱。曾國藩堅決反對，他說：“洋人本有欺淩之心，而更授以可淩之勢；華人本有畏怯之素，而又逼處可怯之地。”
同時，他提出兩個解決方案，要麼“趕緊撥給薪水經費，責成阿斯本迅速帶回本國，並將狡詐的李泰國趁勢革退，不準其幹預中國事務”；要麼所購的七條船中，“酌撥數船，與阿斯本統帶，配用洋兵。撥數船與蔡國祥統帶，配用華兵”。
英國人最終答應了曾國藩的第一個方案，清政府隻得將新購的船退回，白白“賠償”阿斯本一萬兩白銀。
不過，雖然受到了經濟上的損失，但卻也打消了英國人企圖控製中國海軍的野心。從這點來看，曾國藩的主張還是正確的。
知道了水師的來之不易，知道了強大的裝備是自強的標誌，曾國藩在創建水師後，自始至終都沒有想過撤掉水師，並且不斷對水師進行強化。這實際也是他主張“自強”的做法之一。
改革軍製，發展軍工業
1868年，曾國藩出任直隸總督，不需要帶兵，但他依然抓緊練兵，並對綠營兵製進行改革，同時還學習造船製炮技術，發展軍事工業。
湘軍軍製的改革當時非常成功，所以曾國藩便也想讓綠營仿效湘軍的營製、營規、餉章等項進行改革，廢除綠營舊日的煩瑣禮儀，改變曾經的衙門習氣。
從這件事上也可以看出，曾國藩的無私以及對清政府的忠誠。也正是由於他進行的全國的軍事製度改革，才讓整個清軍的麵貌有了改變，其作戰能力也有了大大提高。
對於洋槍洋炮的威力，曾國藩早有領教，所以他對洋炮的購置可以說不惜血本，他覺得，當敵人發出“又有西洋之落地開花炮”的驚呼時，才是清軍自強自立的時候，這時候的清軍還怕農民起義軍嗎？說不定連洋人都不怕了。
為了大力發展軍工業，1871年，曾國藩上《複陳夷務折》中說：“十八行省當中，濱海者六，濱江者三，合之奉天共為十省，皆洋船指顧可到，皆膏腴之地也。前任江蘇撫臣丁日昌曾與臣言及防海之道，數省當合並辦理。直隸、山東歸並設防，而以直隸主政。……沿海七省共練陸兵九萬，少者一萬，多者或二萬或一萬數千。沿江三省共練陸兵三萬，或各統一萬，或小有參差。閩省前經奏明，成造輪船十六號。將來滬廠亦須造十六號，各以數號為水師兵船，其餘以為貨船。平日租賃商賈聽裝貨物，有事則裝載陸兵，互相救援，南北江海十省，均不過數日可到。以陸兵為禦敵之本，以輪船為調兵之具，海道雖甚遙遠，血脈仍極貫通。十省之中，主持防務者四省。槍炮、子藥、米糧、雜物，四省多為存儲，六省亦各有存儲。一遇調兵，則各件皆有輪船運之同行。平日無事，即用輪舟載貨，各省習慣而漸成自然，出洋如履庭戶。洋人長於水師，斷非中國所能及。至其陸軍野戰，則淮勇前在蘇滬亦常與洋將洋兵角逐爭勝，尚非殊絕不可及者。若能多練陸兵，而以舟輪裝載馳援，各自舉重若輕，馭遠如近，似亦製敵之方，此臣妄擬規劃全局之略也。”