然而，雖然李鴻章的學識舉世很少有人可以匹敵，但其最後的顯達，卻是“以儒生而起家軍旅”。生逢亂世，哪裏管得到文是文，武是武，必須有“上馬殺賊，下馬草露布”的本事，做官才能出人頭地。他權勢蓋頂的一片江山，是用槍杆子打下來的。而其軍旅生涯的發軔之地，正在大上海。
其時為1861年，太平軍正席卷江南。整個江南，隻有鎮江一城尚為清兵所有，此外就隻剩下一個上海孤城，靠著外國洋兵的出力幫助，總算還沒被太平軍吃掉。但上海四麵皆敵，洋兵打仗並不可靠，為了希望守住上海，逃難住在上海城中的江蘇紳民，隻好寄望剛剛在安慶立下戰功的兩江總督曾國藩能夠派兵到上海來援助。
當時，曾國藩以兩江總督職位而統轄蘇、浙、皖、贛四省前敵軍務，但他自己所掌握的兵力，卻隻有他的兄弟曾國荃的兩萬多湘軍，沒有餘力可以兼顧上海。然而，向曾國藩乞師的上海紳士們，提出了一個足可使曾國藩大為動心的建議：助餉。他雖然無力幫助上海，但在每月許給他的白花花的十萬兩銀子麵前，他卻不能不怦然心動。
於是，曾國藩給他的弟弟曾國荃寫信了：
上海富甲天下，現派人二次前來請兵，許每月以銀十萬濟我，用火輪船解至九江，四日可到。餘必須設法保全上海，意欲沅弟率萬人以去……不知沅弟肯辛苦遠行否？如慨然願往，務於正月內趕到安慶，遲則恐上海先陷。
此信中所說的“沅弟”即曾國荃，別號沅甫。軍隊籌餉，一直是曾國藩所最感苦惱的問題。如今上海方麵前來乞師的士紳們一下子提出了可以按月接濟十萬兩銀子的建議，無異天降財神。為了獲得這巨額饋銀的收入，他必需保全上海餉源之地，而為了保全上海，他必需派兵援助。
但為什麼一定要曾國荃去呢？這就是做兄長的私心了。第一，曾國荃是他的親弟，遇有立功名的好機會，他應該予自己兄弟以優先機會；第二，曾國荃此時的官職，已累升至記名的按察使加布政使銜，如果再在上海立功，以之推升巡撫，資望亦甚相當。
然而，曾國藩萬萬沒想到，弟弟的誌向比他期望的還要遠大。他給哥哥複信說：“賊巢在金陵，急攻其巢，必以全力援救，而後蘇杭可圖，願任其難者。”
曾國藩一看就明白了。與太平軍戰鬥，攻下其首都南京才是平定太平天國的首功。曾國荃要的是如此立大功的機會，自不願東去上海。
李鴻章崛起的機緣，正在曾國荃的這一念之間。
此時的李鴻章，本是曾國藩的幕僚。曾國荃不願去上海，曾國藩不再勉強，把東援上海的使命給了李鴻章。但要求他“自募一軍”。李鴻章是安徽合肥人，曾在本鄉辦過多年的團練，他回鄉招來幾個較有名氣的團練首領，以他們的基本武力為骨幹，數千人的來自淮河流域的“淮軍”，就這樣誕生了。此後湘淮代興，於此見其端倪。曆史變化的關鍵，真是很微妙。
淮軍的特色是：精悍勇猛，久經戰陣。最初總數共為13營，6500人。這一支兵力，就是李鴻章最初帶到上海打天下的淮軍原始。
1862年4月，這一支部隊坐著上海官紳雇來的外國輪船，由安慶鼓輪東下，航行於寬闊的長江水麵，穿越太平天國軍防線一千餘裏，毫無阻攔，來到上海，紮下了營盤。
上海人大叫：“叫化子兵來了！”
真是“叫化子兵”：初到上海的時候，淮軍官兵穿得破破爛爛、邋裏邋遢，頭上肮髒的包頭布，腿上肮髒的綁腿布，當官的穿麻鞋，當兵的連草鞋都穿不上，身上倒是有件寫著“勇”字的短褂，但渾身散發出難聞的氣味。一出太陽，那褂子就給脫下來，大兵們一邊光著膀子，一邊曬太陽“捉老白虱子”，每抓到一隻老白虱就喜形於色，趕快把它送進嘴裏津津有味地咀嚼。映照之下，上海的官兵有袍有褂，號衣色彩鮮豔，比唱戲的打扮得還要漂亮。
《清史稿？李鴻章傳》載：“抵上海，特起一軍，是為淮軍。外國人見其衣製樸陋，輒笑之。鴻章曰：軍貴能戰，非徒飾外表，迨吾一戰，小覷未晚也。”
果然，很快有虹橋大捷。李鴻章所部淮軍以寡敵眾，苦戰三日，以三千人破太平軍十餘萬之眾，終於以劣勢之軍力挫強敵。戰事進行中，上海兵一觸即潰，倒是這些半兵半匪的“叫化子兵”一個個――“賊娘好好的搞”――精悍可用，英勇善戰，連外國的洋槍隊都自歎弗如。
然而，淮軍平時的紀律實在太差。李鴻章知道，要在大上海站穩腳跟，首先要加強精神文明建設，禁止所部擾掠平民百姓，避免本地人的反感。這在很大程度上是做做樣子，冠冕堂皇而已。但上海人從不否認，由於李鴻章的嚴格要求，淮軍確實不敢胡來，後來確有良好軍紀。
李鴻章的重點放在宣傳上，他命令散發從安慶帶來的大量宣傳品：湘軍《營製》、《營規》、《愛民歌》、《解散歌》等，在上海就地雕版印行。上海的印刷水平全國第一，李鴻章的宣傳攻勢大得其便。上海市郊很快貼滿了這些宣傳品。其中的《愛民歌》，全用白話，效果不小。它唱道：
三軍個個仔細聽，行軍先要愛百姓。
第一紮營不要懶，莫走人家取門板。
莫拆民房搬磚石，莫踹禾苗壞田產。
莫打民間鴨和雞，莫借民間鍋和碗。
莫派民夫來挖壕，莫到民家去打館。
築牆莫攔街前路，破柴莫砍墳上樹。
挑水莫挑有魚塘，凡事都要讓一步。
第二行路要端詳，夜夜總要支帳房。
莫進城市占鋪店，莫向鄉間借村莊。
人有小事莫喧嘩，人不躲路莫擠他。
無錢莫扯道邊菜，無錢莫吃便宜茶。
更有一句緊要書，切莫擄人當長夫。
一人被擄挑擔去，一家啼哭不安居。
如今百姓更窮困，願我軍士聽教訓。
軍士與民如一家，千萬不可欺負他。
如此很像《三大紀律八項注意》的愛民歌，李鴻章的叫化子兵們天天哇哇唱。李鴻章高高舉起“愛民”旗幟，好像叫化子真的是老百姓的子弟兵。
然而，李鴻章所給予大上海的，遠遠不如大上海給予他的東西更多。這就是他的“洋務”思想的形成。
晚清時期的中國洋務，以現在的觀點看，應當就是辦理對外交涉。但這實際上是較晚以後之人對“洋務”二字所下的界說，在較早時期的人來說，所謂洋務，事實上乃是效法西人的自強運動。用現在的話來說，便是李鴻章在中國搞起了近代化運動。
這一運動，非自李鴻章始。它的前期，是萌生於鹹豐年間的自強運動。
1861年，英法聯軍入侵北京，鹹豐皇帝逃往熱河，京中議和大事，由皇帝交付給他的兄弟奕訁斤負責，其後和議告成，英法聯軍退出北京，奕訁斤卻在這一次外交交涉中，得到了三種“寶貴的教訓”。
第一，他認清了，西洋人的武器與軍隊的訓練方法遠在中國之上，要想打敗洋人，便得效法洋人的長技。
第二，洋人的武器製造雖精，軍隊的訓練雖好，然而洋人卻願無保留地把製造武器的秘密和訓練軍隊的方法教給中國。這更使他認清，要師法洋人，並非沒有機會。
第三，《北京條約》訂立後，英法聯軍根據和約規定，立刻把北京交還給中國。這使他知道，西洋人願以信義和中國交涉往來，因此與西方和平相處，是很可能的事情。