他認為中國和外國在用兵方法上相差不多，但選拔軍官方法大不相同，“惟中國選將必多臨敵而後得，西國選將必以學堂為根基；中國器械不求甚精，操法不求甚嚴；而西國則一以精嚴為主”。在兩相比較之後，就看出中西軍隊素質差距的原因了。西方軍官都是文武兼備，因為他們都是經過專門教育，是軍官學校培養的；而中國軍官都是不學無文的武夫，因為中國從來沒有軍官學校。
光緒十一年五月，李鴻章在籌設武備學堂折裏說得更明確，學堂為培養將才之本，泰西水陸將弁無不由武備學院造就而出，故能素習韜略，視戰陣攻取為身心性命之學。他發揮“師夷技以製夷”的理論說，“故居今日而言武備，當以其人之道還治其人之身。若僅憑血氣之勇，蠢疏之才，以與強敵從事，終難操勝算。”論說得多麼精彩！
關於練兵。中國傳統中也有練兵意識。但是使用冷兵器的部隊，從訓練到投入戰鬥不需要太多時間。到湘軍時，開始重視練兵，也隻是認真訓練一二個月就出戰。到了李鴻章建立淮軍，因采用洋武器，於是采仿英軍製度，操練六個月才使出戰。後來，又受德國教習影響，改為一年的訓練。
中國部隊正式聘用外國教官並不是從李鴻章開始的，而是從恭親王奕開始。當時恭親王在天津請英軍教官訓練第一批近代化的陸軍。這些士兵主要是從北京等地的旗營中選派的，但後來沒有堅持下去。李鴻章卻在淮軍中一經聘用洋教官就堅持不懈。李鴻章率淮軍初到上海時，所見的是英法兩國的軍隊。他覺得是見所未見，極為羨慕，很快在部隊中采用洋槍洋炮，並且聘請英法軍官作為部隊的教官。
同治時代的洋教官，當時稱為洋教習，多出自常勝軍或戈登的推薦，少數來自英法軍隊的投效。其中，較著名的有英籍的哲貝（Ｊｅｂｂ）、馬格裏（ＨａｌｌｉｄａｙＭａｃａｒｔｎｅｙ），法籍的畢乃爾（Ｒｅｎｅｌｌ）、呂嘉（Ｒｈｏｄ）。
當他出鎮北洋以後，隨著世界知識的豐富，漸漸了解到德國新近統一，躍居世界頭等強國，而陸軍尤稱精強。於是，他對德國的裝備和訓練產生興趣，決心把淮軍建設成為德式的部隊。部隊漸改德國操式，所聘教習也多用德國人。
模仿目標的轉變，說明李鴻章的建軍思想中有一個“第一流”意識。
他不止一次地推崇德國陸軍。他說：“該國近來以奮為雄，其軍政修明，船械精利，實與英法各邦並峙”。
“查德國陸軍槍炮操法最為擅長，近年水師鐵甲兵船亦以日新月異與英法相埒”。
李鴻章對德國在華人員印象不壞，接受他們的勸告。此時，德駐華公使是巴蘭德，受雇於天津海關稅務司的德璀琳都勸告李鴻章說，德國距中國較遠，沒有邊界問題，又沒有傳教販毒的糾紛，與英、俄都不同，中德兩國可以永遠友好。李鴻章認為有道理，後來在他的奏折書信中重述這種見解。
當時，雇傭部隊教官以德國人最好聘，也最好使用，聽從中國指揮，不像英法人那樣桀傲不遜。最初北洋所聘用的德教習都給李鴻章較好的印象。例如天津各營教習克鹿卜，後膛鋼炮教習李勱協，威海魚雷教習哈孫，旅順口修建炮台的漢納根等都忠於職守，勇於負責，並且尊重中國管理。
光緒十七年（１８９１年）十月間，熱河出現金丹道教起義。起義者以宗教為號召，聲稱仇殺天主教和蒙古人。十月十三日（１１月１４日）在朝陽爆發，僅僅１０天就聚集數萬起義者，在各地殺貪官汙吏，焚燒封建官府。當地駐防的蒙古兵前往鎮壓，無不大敗而回。
熱河也是李鴻章所管直隸的轄區。他先後派去提督葉誌超和總兵聶士成率兵進剿。十月二十七日（1１月２８日），葉誌超的部隊在建昌的五官營將教兵打敗。兩天後，又在榆樹林打敗起義者。到十一月二十七日（１２月２６日）為止，全部肅清金丹道教起義者。 光緒十八年三月十一日（１８９２年4月７日），李鴻章上奏，請示對出兵有功人員給予獎勵，強調出兵僅一個月就能一舉蕩平起義。如此用兵神速，前所未有。
李鴻章給友人信中說明了這次起義的聲勢和迅速蕩平的原因： 熱河教匪布滿各處，又與馬賊勾通，且多富戶，故能聚集多人。……遍擾四州縣，蒙兵接仗即潰，全郡岌岌可危。葉曙卿（號誌超）時在古北口，聞警即令馳赴平泉督剿，人心始定。淮練各軍征調迅速，匝月之內，幸即蕩平。如此見淮部之可恃，而利器之足用也。
他說出了兩點驕傲：一是淮軍還靠得住；二是近代化的武器很有用。過去他曾說以現有兵力對付內寇尚不可靠，現在經過事實驗證，對付內寇還可以了。這就是編練近代化陸軍的初步成效。
甲午戰爭中，淮軍一敗塗地。李鴻章十分掃興。戰後，聶士成部淮軍經過整頓，編為３０營，改用西法訓練。這時，李鴻章雖已不再是直隸總督，但他仍給聶士成寫信鼓勵，希望他能重新光大淮軍。內稱： 貴部裁定三十營，現已並募成軍，餉製仍照淮章，教習參用洋法。從此勤加訓練，可期日底精強，足為留防大枝勁旅。去歲淮部聲望虧損已甚，猶幸台麾奮起，望實兼隆，重振旌旗，是所屬望！
光緒二十六年十一月中旬，李鴻章答複聶士成的來信說，華軍完全改行洋式兵操，這不是一朝一夕所能實現的。目前，俄國公使在總署反複要求為中國代練軍隊，說是以後彼此可以援助，完全是好意。其實這不太好，恐有諸多不便。但是，李鴻章告訴聶士成說，如果俄國的教官來到了，向他們請教一些教練方法，倒是應該：“洋操詢之洋將，自是較近一層，必須虛懷研究，采集所長，不可成見自封，先存輕視之意。”這一見解不能不說是正確的。既要向洋人請教軍事知識，又要防止被洋人操縱軍權。可以請其谘詢，但不可任其代為練兵。
李鴻章在謀求軍事近代化的全部過程中，從來沒有把軍事主權讓給洋人。