中華帝國海軍的前身是南洋水師，再繼續向前可以追溯到鎮國軍水軍部隊。1876年，為了應對法國安南殖民當局可能發起的北進作戰，當時的鎮國軍首領鄭鷹從法國的宿敵德國訂購了四艘標準排水量1157噸的威斯帕級淺水炮艦，並從英國遠東艦隊和德國高薪雇傭了一批海軍人員，從此拉開了中華帝國海軍水麵艦隊的序幕。
著名的黃埔海軍學校，其曆史沿革可以追溯到1875年鎮國軍校中新設的水戰學院。當時的鎮國軍以許凡為學院主任，高薪聘請英國皇家海軍的退役軍官教授海戰戰術及軍艦養護，航海，炮術以及海上救護等學科，培養了鎮國軍體係內第一批海軍人才。
隨著鄭鷹與羅斯柴爾德等歐洲猶太家族的合作逐漸步入正軌，英國首相迪斯累利最終確定了扶持鎮國軍牽製法國在印度支那擴張的政策。1877年，英國遠東艦隊的一批現役艦艇，以市場價轉售給了當時的鎮國軍，與此同時，鎮國軍在紅河上建立了小型船廠，開始嚐試製造小型炮艇以及維修艦船。
1878年法國南越殖民當局北上占領順化，並分兵繼續北進，法國遠東艦隊掩護海軍陸戰隊占領了海防，並沿紅河西進，準備直插鎮國軍腹心，並與南線的法國殖民軍南北合擊消滅鎮國軍主力。
鎮國軍水軍陸戰部隊乘小艇夜襲海防港，駐泊在港內戒備鬆懈的法國遠東艦隊猝不及防，四艘鐵甲艦被俘，而隱藏在海防市內，裝扮為安南平民的鎮國軍部隊，以及部分隱藏在市內外秘密地道中的部隊也趁機發動，占領了海。與此同時，深入紅河的遠東艦隊輕型編隊遭水雷前後阻截，又遭遇敢死隊夜間以杆雷艇突襲，進退失據，最後與被圍的遠征軍主力一起投降。
1879年，法軍新編的遠征軍開始北上，並邀請廣西清軍南北對進，而海軍方麵又增派了遠東第二艦隊。
此時的鎮國軍水師，已經擁有法製阿塔朗級鐵甲艦一艘，拉家裏桑尼亞級鐵甲艦三艘，英造無裝甲鋼製巡防艦兩艘，德製淺水重炮艦四艘，英製最新型香農級一等巡洋艦一艘，並且擁有了一批以英德海軍將領為骨幹，水戰學院畢業生為主力的海軍隊伍，以機動靈活的戰術和勇猛的精神，最終擊敗了新的法國遠東艦隊，在陸戰獲勝的同時取得了海戰勝利，繼而又掩護水軍陸戰部隊在安南南部登陸，截斷了法軍退路，逼迫法國停戰，簽署了倫敦協定，名正言順地占據了安南北部和上寮下寮。
鎮國軍北上占領江南半壁成立南洋總理衙門後後，1882年鎮國軍校水戰學院搬遷至廣州黃埔島，正式成立黃埔水師學堂，與新的福州船政學堂一起成為南洋總理衙門下屬的兩大海軍學校。1886年，黃埔水師學堂成立海軍高等指揮學院，也就是日後帝國海軍大學的前身。
鎮國軍係統的第一艘自造炮艇名為狼號，排水量僅為二十噸，裝備三十七毫米炮一門，手搖格林炮一門。1880年，利用一批被俘後自願加入鎮國軍體係的法國遠東艦隊軍官和技術人員，鎮國軍在海防擴建了船廠設施。兩年後，南陽總理衙門開始自建第一艘五百噸級淺水炮艦。