重視鐵甲艦的作用是必要的。鐵甲艦是當時造船工業的尖端技術產物，具有很強的攻擊力、防禦力、運動力、通訊力、和照明力。忽視它的作用顯然是不正確的。如果隻看到這一方麵，將它視為神物，就陷入“唯武器論”了。李鴻章與保守派的區別在於他能看到鐵甲艦的威力。這是他能了解外情，正視實際的過人之處。但是，他有些誇大了鐵甲艦的作用，對於軍隊中人的因素有所忽視，這是他的錯誤。
對於購艦的方法和途徑，李鴻章進行了比較周密地構思。他說道： 應撿派明於製造、略知兵事之員，選帶學生員匠前往，由總理衙門會商駐京使臣移知該國外部，俾得親赴各廠，考究何等船製最為堅致靈速，並宜於中國水道者，與其議價定造，即將帶去華匠兵士附入該廠及武備院，學習造工，並請求駕駛操練之法，使成船後配齊炮位，隨船回華，庶有實濟。
這套辦法是充分吸取了當初洋人李泰國為中國購買艦隊的教訓。那一次是恭親王奕、文祥和桂良發起的。他們計劃直接從國外購進一支現成的海軍艦隊。最初提出60萬兩白銀，請英國人李泰國代買。李泰國卻違反協議，不僅擅自多購了一艘運輸船，將買船經費增107萬兩，而且私自為中國招募英國水手和軍官600多名，並聘英國皇家海軍上校阿思本為艦隊司令。尤其荒謬的是，他以中國代表的身份與阿思本訂立十三條協定，規定這個司令除了中國皇帝的命令以外，不接受任何人的命令，而皇帝的命令隻有經過他李泰國的簽署才有效。這是明目張膽地操縱行為。因此，當中國政府知道此事後，很自然地予以拒絕。當時，李鴻章就是堅決拒絕這支艦隊的人之一。
這一次，李鴻章特別強調要由中國選派明白軍事並懂製造的內行官員，帶領中國留學生和留洋工匠，經過兩國外交部門知轉該國軍事部門，然後親赴各廠，親自參與議價，親自學習工程，親自學練駕駛，最後認真驗收，隨船回華。這樣做的益處是可以買到高質船，學到新本領，有利於中國海軍的盡快組建。
到光緒五年，又發生了日本並吞琉球事件。清政府再次命李鴻章和沈葆楨等議海防。李鴻章趁機再次要求大購戰艦。十月二十八日（1879年12月11日），他在奏折中指出日本之所以敢於肆意妄為，並吞琉球，是仗恃有新購的鐵甲大艦。他強烈呼籲道： 中國即不為窮兵海外之計，但期戰守可恃，藩籬可固，亦必有鐵甲船數隻，遊弋大洋，始足以遮護南北各口，而建國家不拔之基。乃議之五六年而迄無成者，一由經費太絀，一由議論不齊，一由將才太少。然欲求自強，仍非破除成見，定購鐵甲不可。
李鴻章所派的購艦特使徐建寅，是中國高級軍工專家。他是中國著名科學家徐壽的兒子，從17歲開始就參與自製中國第一艘輪船的設計。他的著作有《化學分原》、《聲學》、《電學》、《兵學》、《器象顯真》、《器象顯真圖》、《攝鐵器說》、《藝器記珠》、《造硫強水法》、《石板印法》、《造鐵金法》、《汽機新製》、《汽機必以》、《海軍章程》、《運規約指》、《水師操練》、《輪船布陣》、《營城揭要》、《操格林炮法》、《測地捷法》、《繪圖船線》、《造船全書》、《兵法新書》等20多種。此人不僅有理論，而且有20多年實際工作經驗。
光緒五年九月十一日（1879年10月25日），徐建寅奉李鴻章派遣，以駐德使館二等參讚的身份，搭乘法國“揚子”號輪船從上海出發，於十月二十八日（12月11日）抵達柏林。李鴻章派走，徐建寅後，馬上給駐德使臣李鳳苞發去一函，上寫： 徐仲虎（建寅）昨由津南下，定於八月二十六日出洋（實際延期——引者）。前囑仲虎訪求鐵甲新式，望執事妥與籌商，詳示梗概為要。……
赫德欲以師舟炮船製鐵甲船，總署頗為所惑。弟與幼帥（沈葆楨）極力辯，而赫總海防司始罷論。弟已兩次函告總署，請執事與徐仲虎在西洋訪求合用鐵甲新船。現存款百萬約可敷購一船，雖嫌單薄，慰情聊勝於無耳。幼帥謂由華員訂購，恐多周折，省費必致糜費，不若仍屬赫德、金登幹等覓購。赫素不以中國購鐵甲船為然，今新罷總司海防之議，更不便相托。前以麵囑仲虎至英、德後留心訪詢，並旦明南洋沿途運載接濟之法，如何順手。想已一一詳告尊處，予為布置，幸勿緩圖。
仲虎將來遊曆各國工廠，須仍另開銷川費，便中可利總署緘孫為要。芝田允令金楷理赴德，虎初次出洋，一切須賴其導引，屬其挈與偕行，隨後由執事補行奏谘可也。…… 倘訂購鐵甲，亦須有學生在廠監造，一麵學駛。庶船成時，可雇洋弁一同駕駛來華，均希盡籌及之。”
李鳳苞原在江南總局翻譯館，可以說是親信下級。李鴻章對他說了不少幕後情形。沈葆楨雖讚成外購軍艦，但怕由中國人去訂購會遭到洋人的刁難，想省費反而糜費，主張派赫德去買。李鴻章堅決不同意。李鴻章比沈葆楨更了解內情。這位赫德，當了總稅務司，掌握了中國的關稅大權，並不滿足，還想當中國的總海防司，掌握中國的海軍大權。由於李鴻章等人極力反對，赫德沒有得逞。他悻悻然，當然不會為中國好好買船的。何況他一向就反對中國購買鐵甲船。李鴻章指示李鳳苞，協助徐建寅辦好購船這件事。
概括起來，李鴻章給徐建寅的任務是三件事：一、考察各廠，二、洽購鐵艦，三、查明運法。
徐建寅不辱使命，很好地完成了任務。他在英、德的考察活動日程安排得滿滿的。他食不甘味，席不暇暖，盡可能在有限的時間裏考察各大造船廠的設備、技術、材料等情況，同各廠洽談，進行比較。最後與德國伏耳鏗廠訂造兩艘鐵甲艦，以中國造船留學生鄭清濂和陳兆翱任駐廠監工。在製造過程中，發現德方偷工減料，當即揭發，德方被迫重新返工。兩艦造成後，新任駐德公使許景澄帶領使館人員來到船廠，與原任公使李鳳苞一同按照合同逐項查驗。認為合格後，接管了這兩艘巨艦。然後，以海軍留學生劉步蟾配合所雇洋員一同駕駛回華。途經波羅的海、大西洋、地中海、穿紅海、過印度洋，於１８８５年１１月到達中國。 李鴻章派兩位主要官員，一是丁汝昌將軍，一是周馥道員，帶著洋文憑單和原訂合同前往海口驗收。經查與原訂合同相符，將驗收憑單親書收到字樣，交給管駕“鎮遠”的洋員密拉和管駕“定遠”的洋員伏司（又譯為福士）帶回。
光緒十一年十月二十八日（１８８５年１２月３日）、二十九日（４日），二艦分別改換中國龍旗，升炮如儀，正式加入北洋艦隊。在此前後，鋼甲艦“濟遠”號也於１８８５年１１月８日抵達中國海口。
這是李鴻章十分得意的事。回顧為了訂購具有世界威力的戰艦，從謀劃到實施，從訂約到監造，從驗收到駛回，常要克服經費難籌，洋人阻撓，顯貴壓抑，士官短缺，工匠生疏種種困難，真是難以想象。他是勇敢者。他不計毀譽榮辱，千折百回，去虛務實，因勢利導，終於為中國購進了一批鐵甲大艦，達到了一定的目標。
經過李鴻章的辛苦經營，一個以艦隊為核心，輔以陸岸設施、供應係統、通訊設備等各部分組成的北洋海軍，到光緒十年初建成了。
光緒五年（１８７９年）冬天，沈葆楨卒於兩江總督任所，規劃海軍的重任完全落在李鴻章身上。李鴻章在天津設立水師營務處，作為營建北洋水師的領導機關，使用從國外回來的留學生馬建忠管營，相當於參謀長，處理日常工作。
光緒六年（１８８０年），發生中俄交涉。俄國派軍艦威脅中國海口，大有動武之勢。李鴻章以海防經費不足，於六月初三日（１８８０年７月９日），奏請用輪船招商局按年撥還的款項購買軍艦。他說，俄國那樣強盛，鐵甲艦和後膛槍都很齊備，今春還在英國銀行借款１５００萬金鎊，合銀５２００餘萬兩，又向德國和奧國分別借款，可見不惜重金與我爭勝；而北洋海防經費每年實際隻得到三、四十萬兩，卻責成防守遼海1000多裏海防，這怎麼能行呢？“雖才力百倍於臣者亦必無可為也。”
本年七月，李鴻章在天津設立水師學堂，用西法建築津沽炮台。
光緒七年至八年（１８８１至１８８２年）建築旅順軍港。在旅順和威海衛造台設壘，疏浚港澳，建築船塢，設立魚雷部隊；在大沽口設立水雷營和水雷學堂；在旅順設立水雷魚雷營。光緒七年十月十一日（18８１年１２月２日）派丁汝昌為北洋海軍提督，確定了北洋艦隊的最高指揮官。另聘請英國人琅威理為總教習，一邊編練，一邊建軍。琅威理練兵很勤，為海軍官兵所敬重，中外稱道。一時軍容頗為整齊。從前中國海軍不懂得與外艦禮貌交往，自琅威理任事以來，開始講究往來交接的禮節。
在這支艦隊初具規模的時候，李鴻章曾於光緒七年（１８８１年）奏請將各船“合為一大支水師，隨時會操，輪替出巡，以護北洋要隘。”
光緒十年五月二十七日（１８８４年６月２０日），李鴻章奏請於月末巡閱北洋海軍，朝廷批準。
五月二十九日（６月２２日）至閏五月五日（６月２７日），李鴻章會同朝廷所派大員吳大澄、張之洞、張佩綸用了六天時間，從大沽口放洋出海，劈波斬浪，閱視大沽口、旅順港、煙台灣、威海衛。從西到東，從北到南，從艦隊到炮台，從港澳到水雷，從水師到陸軍，曆程千餘裏，進行全麵巡閱。受閱艦隻有兵船超勇、揚威號，為巡洋艦；蚊船鎮南、北、東、西、中、邊，六艘鋼質炮艇；威遠、康濟兩木殼練習艦，海鏡運輸船；快馬、利順兩小輪船；魚雷艇等。艦隊操演了魚貫雁行等各種海戰陣式，帆纜燈旗等各類信號和槍炮施放各種技法。
隨同他巡閱的吳大澄、張之洞和張佩綸都是清議派人士，原是對近代化，也就是洋化都頗多批評的。這一回大開眼界，思想急速發生轉化。
李鴻章閱畢海軍，給朝廷上了一道奏折，內稱： “竊惟渤海大勢，京師以天津為門戶；天津以旅順、煙台為鎖鑰。臣曆年經營海防，先治大沽北塘炮台，以固澳區；複築新城，以為後拒。……上年旅順口炮台，若募用洋匠，仿造新式，工作既成，觀者均目為堅實。電線、魚雷侵侵及山東之威海矣。……北洋略有基緒可尋。
這一年，法國侵略越南，中法關係緊張，戰爭一觸即發。這次巡閱具有深意。按照李鴻章的意思是，北洋海軍“略有基緒”，雖未必能與法國爭雄於海上，但已稍有聲勢，彼未必敢於再如鹹豐十年那樣如人無人之境了。但也僅此而已。回顧自同治十三年以來至今，十個寒暑已過去了，僅成此一支以炮艦為主力的消極防禦型海軍，真是締造艱辛，令人感慨良多。
光緒十一年（１８８５年），福建水師在馬尾海戰覆滅後，李鴻章發展海軍的迫切感更強烈了。五月，左宗棠和李鴻章各有一折奏上。清廷痛定思痛，發出一道上諭說： “自海上有事以來，法國恃其船堅炮利，橫行無忌。我之籌畫備禦，亦嚐開立船廠創立水師，而造船不堅，製器不備，選將不精，籌費不廣。上年法人尋釁，迭次開仗，陸路各軍屢獲大勝，尚能張我軍威。如果水師得力，互相援應，何至處處牽製？當此事定之時，懲前毖後，自以大治水師為主，船廠應如何增拓，炮台應如何安設，槍炮應如何精造？均須破除常格，實力講求。至於遴選將才，籌畫經費，尤應謀之於豫。庶臨事確有把握。著李鴻章、左宗棠、彭玉麟、穆圖善、曾國荃、張之洞、楊昌浚各抒己見，確切籌議，迅速具奏。”
左宗棠當時認為“海防以船炮為先，船炮以自製為便”。
對前一句，李鴻章與他沒有什麼不同。但對後一句，李鴻章就不苟同了。他現在認為時不我待，應急速購艦。他再次指出購買鐵甲艦“洵為救時急務”；而且提出設立四支水師、築塢、建炮台和選拔將才等數項“治水師根基”的方案；甚至明確提出中國應模仿西方和日本專設一個管理海軍的機構，建為“海部”或“海防衙門”，統一聯絡各支海軍。他舉出歐洲各國設立海軍部的實例說：“查歐西各國外部、海軍並設衙門於都城。海部體製與他部相埒，一切兵權、餉權與用人之權，悉以畀之，不使他部得掣其肘。其海部大臣無不兼讚樞密者，令自中出，事不旁撓。未可以學在四夷而厚非之。他的意思是，不要因為是洋人的製度而菲薄，虛心學製則海軍可有名有實，“振興”方能指日可待。他的目標是將消極防禦型海軍發展為積極防禦型海軍。
這個積極防禦型海軍的建軍方案是：建立四支得力海軍，將直隸、山東、奉天合為北洋海軍，將江蘇、浙江合為南洋海軍，將福建和台灣合為閩台海軍，將廣東自己作為一支粵洋海軍。每支艦隊配備鐵甲船２艘，快船４艘，捷報船２艘，魚雷艇２０隻，運兵船２隻。達到這個規模後再“徐圖充拓。”
事實上，李鴻章在上年二月就已經函致總理衙門，建議設立海軍部，理由也是這些。”那時，馬尾海戰還沒發生，如果及時成立，將全國海軍統一調動，戰局也許會好些。這一次，朝廷十分重視了。
七月初，朝廷命李鴻章進京陛見。諭旨稱讚李鴻章所奏的籌議海防事宜的奏折很重要，但認為這件事太重大，必需李鴻章進京與各有關大臣將一切宏綱細目詳細規劃，才能漸收實效。
李鴻章這次進京將決定清廷作出的重大決策，所以引起各方麵人士關注。他於七月二十一、二日進京，下榻於賢良寺。二十二日（１８８５年８月３１日），就有法國公使約期會晤。李鴻章致函說：“頃接來函，知以本大臣到京，訂期會晤，良深快慰。惟征塵甫息，忙紛如。今日下午五點鍾或八點鍾，當可得暇，容再專人奏約。”說得很客氣，實際是並不急於會見。其他各國使節也紛紛向他訂期會晤。他忙得很。
李鴻章這次在京逗留２０多天，受到太後五次召見，並與其他各位王大臣討論了海軍、鐵路、京旗加餉、創辦銀行等國計民生重大問題。
這次進京，給他個人的印象比想像的還壞。這令他有些泄氣。他出京後，給曾國荃的信中，透露了這些觀感。他說，慈禧太後和醇親王還是銳意圖新，力圖改變從前虛驕的習氣；但是大臣們仍墨守舊規，總的說來，不像能夠振興的樣子。因此李鴻章也就不敢多提改革的主張了。太後和醇邸比較關心的是由各省裁撤綠營局餉，把節省下來的兵餉貼補北京的八旗兵丁，目的無非是為了鞏固皇族的根本統治。李鴻章告訴他們一時很難辦到，而太後和醇邸堅持要向旗兵表示恩惠，又不了解外間的情形。最後談成的還是海軍一事，決定成立海軍部，名義上由兩位王爺主持，但仍是未給一錢，未增一將。把京內的情形密告到此，又加了兩句：“茫茫大海，望洋悚懼”，吐露了無可奈何的心情，就擲筆歎息去了。
他的心情不難理解。他還沒有多提改革，守舊派對他在京的言行就已經嘖有煩言了。一個名士李慈銘在自己的日記中寫道：李合肥進京，今日軍機和總理衙門一起開會討論：“一、設海部尚書。一、開鐵路。一、設大銀行、皆西洋各國法也。以寫小楷、製墨盒之俗，而忽學建民主、奉教王之政，謂師此三術，便可自強，吾不信也。”總之，用一句不適合中國國情，就把全部改革要求都否定了。
不過，清廷到底還是接受了李鴻章的核心建議。九月初五日（１０月１２日）上諭發布成立海軍衙門的決定，以醇親王奕為總理大臣，以慶郡王奕、大學士直隸總督李鴻章為會辦大臣，正紅旗漢軍善慶、兵部右侍郎曾紀澤為幫辦。所有沿海水師都歸海軍衙門調遣，並責令李鴻章對北洋建軍“專司其事”。可見實權操於李鴻章手裏。
十二日，李鴻章陛辭太後和皇帝。太後要求他回津後妥善辦理遷移蠶池口教堂的事情。然後他回到天津。
平心而論，這次進京並不是毫無所得，第一，到底爭取了海軍單獨設部的地位。這對今後的海軍建設和發展都十分有利。第二，他改變了對太後和醇王的看法，覺得他們不像守舊大臣那頑固，至少是可以施加影響的。第三、他認識到今後要想順利推進改革，必須依靠這兩個人，尤其不能得罪太後。這年，李鴻章經營山東威海衛炮台，並以鎮遠、定遠、濟遠三隻鐵甲艦為骨幹編練海軍，北洋海軍實力大增。
光緒十二年（１８８６年５月１６日），奉慈禧太後之命，總理海軍大臣醇親王奕與海軍衙門會辦大臣李鴻章、善慶校閱北洋海軍。
奕於四月十三日5月１６日）抵達天津，會見李鴻章。次日赴大沽。十五日（１８日），出海至奉天旅順口，視察炮台並閱看南北洋水陸軍操練。十八（21日）、十九日（２２日），檢閱威海衛與煙台；二十日（２３日），回大沽；二十二日（２５日），回到天津。這一次的校閱，全麵檢查了北洋海軍的艦隊和各海防要塞，水陸學堂，水陸操練，各有關機器局廠。受閱艦隻有北洋的定遠、鎮遠、濟遠、超勇、揚威５艦，南洋的開濟、南琛、南瑞３艦。共計８艦。閱後報告說：“前項八船調集旅順洋麵會操，並令隨行威海、煙台一帶，布陣整齊，旗語、燈號，如響斯應。”
太後即將歸政。醇親王為了討好太後，移海軍經費作承修三海工程和頤和園工程之用。光緒十二年五月二十四日（１８８６年６月２５日），李鴻章給醇親王信中說到在外洋訂造艦隻交款日期迫近，“倘此次借提三十萬”，“貽誤匪輕”。顯然，對醇親王挪用海軍經費不滿。
但李鴻章是非常講究靈活性的。光緒十三年（１８８７年），他一麵經營大連炮台，以鞏固旅順後路；一麵也為即將告成的頤和園撥出經費，購買小火輪，安裝電燈，演放汽球。讓最高統治者體驗一下現代化的妙處，今後可能會更多地支持他搞現代化，這可能是他初衷。可這一下，物議沸騰，他遭到人們的攻擊。