1862年，外國人組成了一支抗擊太平天國的雇傭軍，後更名為“常勝軍”。最初首領為美國人華爾，華爾戰死後由美國人白齊文繼任，白齊文因吳煦事件轉投太平軍，被殺。最終由英國人戈登繼任，故稱為戈登洋槍隊。圖為穿著中國官服的戈登。
當然，這種中國式的實用主義，也讓李鴻章犯下了殺降的大忌。在引誘蘇州大部分太平軍守軍將領投降之後，居然以突襲的方式又將十萬降兵降將殺了個幹淨，氣得戈登要找李鴻章拚命，間接導致了常勝軍的解散。對於李鴻章來說，殺降一方麵是因為當初這些降將開出的價碼過高，他其實兌現不了。另一方麵也是因為太平軍敗局已定，用不著用誘降這種方式對付太平軍了。也就是說，蘇州克複之後，即使剩下的太平軍都不肯投降，打敗他們也是早晚的事情。仗打到這個份上，多殺人，對李鴻章這樣的統帥來說，已經算不了什麼了。把剩下的長毛都殺光，在他眼裏，說不定是好事。
太平天國的天京被攻下之後，一直強調忠義的曾係湘軍被解散了，但不怎麼講究這個的淮軍卻被保留了下來。即使沒有曾國藩的主導，朝廷也更喜歡淮軍，不喜歡湘軍。因為淮軍很像雇傭兵，可以養，而湘軍並不能止於養。這樣一支跟統帥關係過於密切的軍隊，近乎同生共死的軍隊，放在哪兒，都是一大隱患。曾國藩深知這一點，隻要他不想做軍閥，不想取而代之，湘軍就非解散不可。
幸好，淮軍是一支現代化程度最高的軍隊。此後剿滅撚軍和太平天國餘黨，都要靠它。中國軍隊的現代化，也隻能以它作為基礎向前發展。但問題是，淮軍普遍使用洋槍洋炮，並不意味著它一定能完成中國的軍事現代化。淮軍采用洋操，甚至連口令都用的是英語，卻長期練兵不練官。士兵按洋操訓練，軍官不參與。懂行的外國教練，隻能作為教練存在，不能參與戰鬥指揮。當年有常勝軍的存在，對於朝廷和李鴻章來說，都是一種不得已。軍隊大權，決不能交給外人，這在李鴻章這裏，就是一條鐵律。雖然說，在太平天國覆滅後不久，李鴻章就在天津成立了北洋武備學堂，專門用來培養淮軍的軍官。但北洋武備生卻在淮軍裏長期不得重用，各營用的還都是老行伍。李鴻章也沒有采取強製措施，改變這個局麵。所以，武備生畢業之後，多在各個部隊裏做教官。這些武備學生，倒是在袁世凱小站練兵之後，才逐漸嶄露頭角，李鴻章等於是給北洋軍培養了最初的人才。到了中日甲午戰前，曾經輝煌的淮軍，已經追隨綠營，又一次走到世襲為兵，兵疲將老，喝兵血，吃空餉的境地。但是，你不得不承認，即使在淮軍最腐敗的時候，由於手上武器不錯，用來鎮壓國內的農民造反，戰績都還不錯，隻是拿來對外，有點兒問題。
但不管怎麼說，淮軍代表那個時代中國最初的軍事現代化努力，而這種努力，不折不扣，是被太平軍刺激出來的。在李鴻章遭遇太平軍之前，中國已經遭遇了兩次西方的侵略，但是，兩次的慘敗仍然沒有讓中國的士大夫具有起碼的覺悟。顯然，僅僅有並不想滅掉王朝的西方軍隊打上門來，遠不足以讓中國人改弦更張，下決心學習西方。隻有當國內的泥腿子憋足了勁兒想要顛覆王朝，而且放肆地學習西方，采用洋槍洋炮之時，刺激才足夠大。中國的軍事現代化先於洋務運動的起步，其實要間接歸功於太平軍。