在人類尚未飛上空中的時候，海軍是先進兵種。兩次鴉片戰爭，讓人看到了西方列強“堅船利炮”的厲害，但也啟發了人們的思考。中國邊境半臨太平洋，有萬裏海疆，５０００多個島嶼，沒有一支現代化的海軍就難以抵製來自海上的侵略。
還在第一次鴉片戰爭剛剛過後，進步思想家魏源就在他的名著《海國圖誌》中提出了設置輪船水師的構想。這可以看成是中國創設近代海軍的先聲。但這想法沒能付諸實現。第二次鴉片戰爭剛過，恭親王和文祥就向英國購買了一支小型艦隊，後來因為不能自操主權，不得不將其遣散。這是中國自辦海軍的第一次嚐試。
中國海軍的實際創建開始於左宗棠。同治五年（１８６６年），左宗棠在福州創設馬尾船政局，同時創辦船政學堂。這樣既造船又培養人才，逐漸編練出使用國產木質輪船進行海上作戰的福建水師。
李鴻章這樣的洋務專家，多年統率軍旅，一向傾心於洋化。還在同治元年他到上海時，就到外國輪船上去參觀。摸摸這，看看那，羨慕得沒法，多次給師友寫信，把輪船大炮的威力說得神乎其神，恨不得自己能一下子擁有。
光緒六年（１８６７年），李鴻章把他的部屬丁日昌寫的一份條陳上奏給朝廷，就是建議設立三大支海軍的。清朝的製度規定總督和巡撫可以上奏朝廷，丁日昌一直是李鴻章得力的助手，這時被他提為一省的布政使，但仍無權上奏。長官為屬吏代遞條陳，雖然不一定要同意那個意見，但在一般情況下是不會反對的。從李鴻章與丁日昌的關係看，李鴻章不僅是同意，而且很可能是兩人熟商已久，甚至幹脆就是李鴻章授意的。
那份條陳中指出中國海防的弊病，說：“然自海氛構釁，中國水師無能禦敵，是不獨師船不及輪船、夾板，即沿海炮台，亦呆無用。”古老的海防設施在現代化的海軍麵前，毫無用處。說得尖銳而中肯。
然後明確建議建立三大支“輪船水師”，設北洋提督，駐於大沽，直隸、山東、盛京各海口屬之；設中洋提督，駐於吳淞口，江蘇、浙江各海口屬之；設南洋提督，駐於廈門，以福建、廣東各海口屬之。何謂“輪船水師”，就是現代化海軍。為了與傳統的帆槳戰船相區別，所以把用蒸汽輪船為戰艦的現代海軍稱為“輪船水師”。
這個時候，李鴻章正在湖廣總督任上，還沒有條件創辦海軍。但是，他能把這份條陳附呈給朝廷，就說明他對此事已經急不可待了。
他和他的屬員已經確實有了創辦海軍的清晰蘭圖。這是可貴的思想火花。
同治九年十月二十日（１８７０年１１月１２日），清廷發布上諭：“三口通商大臣一缺即行裁撤，所有洋務、海防各事著歸直隸總督經營，照南洋通商大臣之例頒給欽差大臣關防，以昭信守。山東登萊青道所管之東海關，奉天奉錦道所管之牛莊關，均歸該大臣統轄。”
這一下，李鴻章的權力可大了。原來的三口通商大臣一職被裁撤，代之以北洋通商大臣，由他大學士直隸總督李鴻章兼任。所謂北洋通商大臣，實際不隻是辦理通商事務，諭旨中明確說出“所有洋務、海防各事”都歸他辦理。可見，清廷將軍事財政以及所有與外國有關的事務都交與他辦理。什麼事情與洋人無關呢？在開放的時代，凡是軍事、財政、外貿、外交、文化交流，事事與洋務有關。可見朝廷對他的信任，也可見他的權力之大了。
六天後，李鴻章就為加強津沽防務提出了一個具體建議。他奏稱： 大沽海口南北炮台最為扼要，而守兵過單，守具亦未精備。楊村、河西務、王慶坨等處均係由津進京要路，將來應否撥營修築炮台，以壯聲勢，均當次第妥善辦理。
他從守兵和守具兩方麵指出大沽炮台的單薄，不足以抗禦外侮。這時，他考慮的是如何加強陸岸炮台的問題。
十二月初一日（１８７１年１月２１日），李鴻章奏說，日本可能成為中國的大敵，應加意防範，海防急需加強；但對日本要求與中國訂約一事應該答應。就在這一年的初秋，日本政府遣使者柳原前光來中國商議通商事宜。清廷命他籌劃。他在談判過程中，深刻感覺到日本明治天皇登上帝位後，君臣一心，推進改革，雖隻是兩三年的時間，國勢就已經咄咄逼人了。這次來華要求訂約雖然沒有什麼不對，但看他們那個強烈的勁頭，是在要求取得西方列強用武力所取得的同等權利。李鴻章根據朝廷的訓令，沒有允許訂約，不過因日使反複要求，最後答應明年再議。這一次他上奏折，意在指出中日兩國雖然友好往來２０００年，但沒有條約關係的時代已經一去不複返了，應該正式訂交；不過也應該警惕日本的威脅。
在陸岸防務設施之外，應該有一支水麵艦隊。同治十一年五月十五日（１８７２年６月２０日），李鴻章上奏，堅決反對宋晉停止造船的建議。說道日本近年與西洋各國通商，大煉鋼鐵，廣造輪船，製造軍火，其意在“逼視我中國”，因此，“國家諸費皆可省，”以惟養兵設防練習槍炮製造輪船之費不可省，求省費則必屏除一切，國無以立，終不得強矣！”在反對停造輪船的同時，他進一步主張今後還要製造小鐵甲船，以便與沿海口岸炮台相依護，進行防禦中的攻堅戰；沿海各省也可以逐步領用輪船軍艦。建立一支海上艦隊的想法開始露出端倪。
李鴻章在這件奏折中，以警惕日本的擴軍備戰而要求建立海軍，絕非危言聳聽。據說到這一年，日本已擁有軍艦１４艘，運輸船３艘，總排水量為１３８３２噸。因此中國確有建立海軍的必要。同時，中國也有了建立海軍的基礎，由於數年來生產和購買，已有軍艦３０餘艘，其中福州造１５艘，江南製造局造６艘，內有二隻“馬力五百匹，配炮二十六尊，與外國大兵船相等”。另外購自外洋英法炮船有１０艘。中國戰船在數量上看似乎多於日本，但是散漫而沒有編練。李鴻章對此有如實地認識。他說日本海軍裝備雖不及中國，然其表現出的精神、訓練及編製已現代化，遠較中國為上。這都是中國沒有按照現代化海軍製度進行編練的結果。
九月二十三日（１０月２４日），他提議在北洋地區建立一支巡洋水師。他給朝廷寫道：“伏查北洋三口，洋麵遼闊，向未專設巡洋水師，亦無捕盜輪船”，而天津實為京師門戶，西方列強每每用軍艦封我海麵。因此“我亦須有輪船可供調遣，稍壯聲勢”。根據他的請示，清廷將由福建造船廠新製的８０匹馬力的“鎮海”兵船調歸北洋使用此艦後於同治十二年八月初四日（１８７３年９月２５日）調到天津，是為北洋海軍配備的第一艘木質軍艦。
同治十三年，日本侵略台灣。再次把海防提到議事議程上來。
十一月初二日（１８７４年１２月１０日），李鴻章奏請盡快購買鐵甲艦，說： 今日所急，惟在力破成見，以求實際而已。何以言之？曆代備邊多在西北，其強弱之勢客主之形，皆敵相埒，且猶有中外界限，今則東南海疆萬餘裏，各國通商傳教往來自如，麇集京師及各省腹地，陽托和好之名，陰懷吞噬之計，一國生事，諸國構煸，實為數千年來未有之變局。
日本則近在戶闥，伺我虛實，誠為中國永遠大患。今雖勉強就範，而其深心積慮覬覦我物產人民之豐盛，冀悻我兵船之未齊，將來稍予閑隙，恐仍狡焉思逞，是鐵甲船、槍炮等項誠不可不趕緊籌備。
由此，他明確地提出建立北洋艦隊的主張。不過，他知道自己的權力已經不小，怕給人以擁兵自重和擴大私人武力的嫌疑。 這時，前江蘇巡撫丁日昌奉詔提出《海洋水師章程》六條，建議購買和製造大型軍艦，擇沿海險要地方修築炮台，編練水師，選拔精幹人員任職於海軍；另建議在沿海設立北洋、南洋、東洋三支水師。北洋水師負責山東、直隸的沿海防務，置北洋水師提督於天津；東洋水師負責浙江江蘇沿海防務，設東洋水師提督於吳淞；南洋水師負責廣東、福建沿海防務，設南洋水師提督於南澳。每支水師各設大兵輪六隻，小兵輪十隻；三洋提督半年會哨一次。三支海軍成軍後就可以將北至直隸灣，南達廣東的漫長海岸線的防禦“聯為一氣”。丁日昌的奏折得到總理衙門的重視，但因經費困難，三支同時建立，力有不逮，決定先在北洋設立一支海軍。“俟力漸充，由一化三”。
李鴻章明白，這件提議差不多是在同治六年條陳的基礎上加以充實的。所以很讚賞丁日昌的建議，隻是稍微提出一些修改意見。他說： 竊謂北東南三洋須各有鐵甲大船二號，北洋宜分駐煙台、旅順口一帶，東洋宜分駐長江外口，南洋宜分駐廈門、虎門，皆水深數丈可以停泊。
總結起來，建立北洋艦隊的想法，他已經思之已久，但不是直接提出。先是暗示需要設立一支巡洋水師；接著是附麗於丁日昌的建議；再後則強調京畿門戶最重要，其次才是長江門戶。“天子門戶”豈有不首先設防之理？於是水到渠成地引出先設立北洋艦隊的動議。
光緒初年，帝國主義對中國加緊侵略。從北到南，從東到西，外患迭至，險象叢生，國際環境惡劣極了。
光緒元年四月二十六日（１８７５年５月２９日），清廷詔諭，以沈葆楨為兩江總督，兼辦南洋通商事務大臣；另命李鴻章督辦北洋海防事宜。沈葆楨督辦南洋海防事宜。所有分洋、分任練軍、設局，及招致海島華人諸事，統歸辦理。 當初在同治九年，李鴻章和沈葆楨分別為南北洋通商事務大臣，兼辦海防事宜。所謂“兼辦”，就是以商務為主，以防務為輔。現在不同了，清廷授與他們軍、政、財權。至此，李鴻章不僅得到了創設北洋艦隊的特權，而且得到了優先權。創設北洋海軍的工作就進入實際操作階段了。六月，總署與戶部聯銜奏請在關稅和厘金項下每年撥給南北洋各２００萬兩，專作建設海軍用。南洋大臣沈葆楨從大局出發，認為畿輔關係全局，請將全部款項盡先撥給北洋使用。不久，又由恭親王上奏“請先於北洋創設水師一軍”。從此，北洋每年名義上可用４００方兩經費，但實際上經費常常移作別用，真正使用的還是百十萬兩左右。所以海軍建設還是很慢。
李鴻章深知朝廷隻能管大政方針，具體的事情必須由他來辦。 七月十九日（８月19日），李鴻章致丁寶楨一封信中談到困難重重，說：“海上水師一軍，承示須兵輪十數隻。現尚無錢、無人、無船，從何措手”；他權衡上下，周覽中外，深感無法迅速建成北洋艦隊。他隻好傷感地告訴這位朋友：“目前力量尚做不到”。 不過，一顆悍衛海疆的熱心驅使他忘情地工作，向外國海軍專家求教，閱讀海防新書，結合中國的國情，提出了一套可行性很強的海防方針，即：修台築壘，水陸相依，先顧口隘，後及海麵的方針。他具體地解釋說： 先顧本省口隘，於煙台、登州、威海擇地次第築台，尤以煙台為最重要。其口內形勢亦複散漫，似宜扼要建築數處，以為犄角，臨事或可嬰守。
這套方針的實施步驟是，在前期修築的基礎上，以原有陸地設施為主，逐步擴大範圍，由津沽而到煙台、登州和威海等口隘，依照西洋樣式修築洋炮台；同時兼顧海麵，向外國訂購守口大炮艇８隻，以便達到水陸相依，稍壯聲勢的目的。
辦海軍當然要有軍艦。李鴻章在同治十一年（１８７２年）那次因宋晉一封奏折引起的大爭論中，堅決反對裁撤福州船政局，強調中國造船生產不但不能停止，而且要大發展。可是這場爭論過後，在他所控製的江南製造總局卻放棄了造艦的計劃，在他的海軍中後來所用的軍艦大多是進口艦。李鴻章是最講實際的。他知道，在未來的海戰中，衝風破浪，巨炮轟炸，血肉橫飛，可不是鬧著玩的，戰艦的質量關乎戰爭勝負，國產艦怎麼能在幾年內就超過進口艦呢。這是他看重進口艦的原因。
在那場爭論中，他之所以要支持福州船廠造艦，完全是從更高的意義著眼的。他當時說： 自強之道在乎師其所能，奪其所恃耳。況彼有是槍彈、輪船也，亦不過創於百數十年間，而侵被於中國如是之速。若我果深通其法，愈學愈精，愈推愈廣，安見百數十年後不能攘夷而自立耶？
“師其所能，奪其所恃”，這是林則徐、魏源以來中國愛國者所倡導的“師夷之長技以製夷”的學習方針的精義。它含有鮮明的愛國主義動機，體現了麵向世界，麵向未來的精神。在那個時代，向西方資本主義學習是中國擺脫落後，走向進步的唯一道路。他深信隻要中國能夠“深通其法，愈學愈精”，百數十年後，中國也能自立於世界民族之林。因此，他稱讚“左宗棠創造閩省輪船，曾國藩興造滬局輪船，皆為國家籌久遠之計”。
他與左宗棠一直不睦。但在這種重大問題上，他認為宋晉攻擊的不隻是一個船政局，而是攻擊剛剛引進中國的大機器生產，是在攻擊近代化大工業生產。正是這種高屋建瓴的眼光，使他衝破個人意氣的誤區，明確表示對於本國造船，隻能支持，不能壓製，堅決悍衛引進外國先進科技，開展工業化運動的正確道路。他一針見血地指出，宋晉者流反對造船，名為節省經費，實是“苟安”思想。因為宋晉僅僅看到目前沒有戰爭，就反對製造軍艦這種大型戰具，而沒看到帝國主義正在磨刀霍霍，不久就要對中國瓜分豆剖。
李鴻章反對停造輪船，並不是以為國產輪船多麼可靠。他隻是認為造船是中國工業化的龍頭行業，必須保護。他真正欣賞的還是外國軍艦。
這是由於他對國際情況比別人都了解，他的危機感比別人都強烈，他對外國軍艦的考察也就比別人更深入。
還在進軍上海時，他就親身了解到西方的船堅炮利；到了天津以後，他更進一步了解到西方鐵甲艦的優越性。他通過各種渠道，如報紙、書籍、遊記、晤談、親見等每天都在研究世界大勢。
有一次，他覺得自己的官位太高，不方便仔細考察，就派了上海道員馮俊光等，先後登上英法等國的鐵甲艦去參觀。經過他們的觀察，李鴻章了解到鐵甲艦的具體情況。他認真地記下：水線以上鐵甲厚１０寸，內襯木板厚１８寸，船幫均是夾層的，夾層中間可以藏人，即使敵艦轟破外層而裏鐵未穿，外麵的海水仍不能灌入。艦內機器鍋爐及兩層巨炮都在厚鐵甲保護當中。隻有船頭和船尾的鐵甲稍薄，水線以下鐵皮不過五六分。船內各炮位都使用電線燃放，各炮可同時轟響。當開船起碇時使用汽機輪轉，比起人力起碇，可為“神速”。這可能是中國人第一次對鐵甲艦所作的技術情報記錄。從鐵甲厚度、船幫層次、機器掩蔽、電氣燃放和汽機起碇等各方麵看出了鐵甲艦的優越性。李鴻章深深地讚美這個龐然大物，說：“此等製作，實堪奇詫”。
李鴻章對各國的海軍實力也有通盤的了解。他向朝廷報告： 臣查兵法須知己知彼，乃得製勝之要。訪聞英國兵船三百六十餘隻，在諸國為最多，內有鐵甲船四十餘隻。法國先有兵船三百餘隻，現減至二百四十餘隻，內鐵甲船六十餘隻。美國兵船二百餘隻，內鐵甲船五十餘隻。俄國兵船三百餘隻，內鐵甲船二十餘隻。布國（德）兵船僅百十餘隻，內鐵甲船六隻。
在飛行器還沒有出現的時代，各國通常都是用海軍，特別是用巨艦作為衡量實力的標誌。西方資本主義各國往往為了開辟海外殖民地，傾銷本國商品，就推行炮艦政策，於是各國的造船業都在突飛猛進地發展。老牌殖民主義國家如英國、荷蘭、葡萄牙等來到東方時都是用巨大的帆船。到了１８２７年，蒸汽動力被應用於軍艦。１８４２年英國海軍部決定在軍艦上使用螺旋推進器，所造７００餘噸的拉得拉軍艦使用了２００馬力的機器，成為帆汽兩用軍艦的鼻祖。１８６０年法國先於各國廢棄原有的戰列艦，建造鐵甲艦“拉古羅安”號。這是世界建造鐵甲艦的開端。西方各國競相發展造船工業，目的就是為了爭奪海上霸主的寶座。中國不想稱霸於海上，但對付霸權主義者，必須擁有相應的戰艦。
中國的造船工業剛剛起步。當時的國產輪船多是木肋木殼，炮位少，馬力小，而且根本沒有鐵甲艦。上海江南造船廠的第五號船“海安”號，在英國新聞紙上已經稱為中國第一號大船了。李鴻章明白中外船艦的差距甚大。他曾說：“蓋根駁（小艇）不若大兵船之堅猛，兵船不若鐵甲船之堅猛。以鐵甲船禦兵船，當之輒糜，況根駁乎？”而中國所製造的幾乎全是小軍艦，當然敵不上西方大艦。這就是他後來主要依靠買船建設海軍的緣故。 兩年後，即同治十三年十月初二日（１８７４年１２月１０日）他奏上《籌議海防折》中，申訴買船的必要性和方針： （自造輪船）物料匠工多自外洋購致，是以中國造船之銀倍於外洋購船之價。今急欲成軍，須在外國定造為省便。但不可轉托洋商誤買舊船，徒糜巨款。
李鴻章看到國際形勢越來越險惡，已經不允許中國船造船工業發展起來後再建立海軍了，必須盡快地擁有一支得力的艦隊。算一筆帳，買船比自造的工價還省一倍，當然應該用買船的辦法武裝艦隊了。這是按照經濟規律辦事的做法，是聰明的辦法。 那麼，把中國船廠置於什麼地位呢？李鴻章主張：“而中國船廠仍量加開拓，以備修船地步”。這似乎是倒退了。可是從實際出發，改造後的修船廠能夠修理大型軍艦和鐵甲巨艦。與其說是倒退，不如說是進步。李鴻章並非隻主張中國修船，反對造船。從後來的事實上看，李鴻章對於閩局和滬局中國自造的大型軍艦和鐵甲大艦始終是以愛護的態度給予讚許和支持的。
李鴻章對買船的緊迫感越來越強了。光緒二年正月二十六日（１８７６年２月２０日），他給讚成購買鐵甲艦的南洋大臣沈葆楨寫信說：“所論鐵甲船必須購置，頭頭是道，精鑿不磨，深為敬佩。若能添購兩號，縱不足以敵西洋，當可與日本角勝於海上。”