我國古代海軍稱舟師、水軍或水師，它是隨著戰爭的需要和戰場的轉移而逐步形成的。大體上經曆了追捕奴隸、軍事運輸和有組織地進行水上作戰的三個發展階段。人類社會自從出現階級和階級戰爭之後，船舶逐漸由運輸和捕魚工具，發展成為一種暴力工具。據殷商甲骨卜辭記載，商代後期，商王武丁曾派人乘船追捕逃亡海上的奴隸，用了15天時間把這批奴隸捕捉回來。（參見郭沫若主編：《中國史稿》）後來，隨著船舶質量的提高和數量的增加，船舶便大規模地用於戰爭了。
湖南的木板船
最初，船舶隻是被征調運送部隊和軍事物資。武王伐紂渡孟津，是我國史籍關於船舶用於軍事運輸的最早記載。公元前1070年正月（另一說為公元前1066年，見唐誌拔：《中國艦船史》等），周武王率兵車300乘，虎賁（周王的近衛軍）3000人，甲士45000人，並聯合了一些方國部落的軍隊，大舉伐紂。參戰部隊由47艘大船運送，在孟津渡河東進，經牧野決戰大破商軍，直搗商都朝歌（今河南淇縣），滅亡了商朝。這次渡河作戰，組織嚴密，有專人指揮船隻，規模空前。但這些船隻畢竟是臨時征集的，沒有專門用於水戰的兵器和人員，因此還稱不上舟師。
到了春秋時期，由於生產力的發展，特別是鐵器的使用，造船技術和造船能力得到空前的提高。臨江傍海的諸侯國都出現了造船業，其中以吳、越最為發達，稱之為“船宮”，能造多種用途的船隻。南方各國江河密布，水上運輸也很興盛，吳國“不能一日而廢舟楫之用”。至於越國，還在周代，就有“於越獻舟”的盛事，浩浩蕩蕩的船隊沿海北上，人淮河西行，到達今天西安附近周王朝統治的中心地區。所有這一切，為中國古代海軍的形成創造了物質條件。
春秋時期，各諸侯國力量日漸強大，出現了王室衰微，諸侯爭霸的局麵。各諸侯國之間的戰爭連綿不斷，先是在中原地區進行，後來擴展到東南地區。為了適應水網地區作戰的需要，南方的吳國、越國、楚國和麵臨東海的齊國，都先後改裝和建造戰船，抽調官兵進行水上作戰訓練。於是，中國古代海軍便應運而生了。
我國古代海軍誕生於何時何地，史書沒有明確記載。但可以根據史料推算出來。據《左傳·襄公二十四年》記載：“楚子為舟師以伐吳，不為軍政，無功而還”。這是目前所見到的第一次水戰記載。這次水戰發生在魯襄公二十四年，即公元前549年。這就是說，在公元前549年以前，楚國就已經有了舟師。據元代的馬端臨考證，“楚用舟師自康王始。”（《文獻通考·兵一注》）按楚康王元年，正當魯襄公十四年，即公元前559年。可見我國古代舟師在魯襄公十四年至二十四年，即公元前559年至549年之間就已誕生，距今至少已有2550多年的悠久曆史了。