水戰與陸戰有很大差別，水軍士兵不熟悉水性當然無法執行戰鬥任務了。所以說水軍訓練應從士兵與水的關係開始，讓士兵熟悉水性，從而征服水，進而達到能在水中作戰的目的。
李綱認為水軍訓練應“招集水軍水夫，常切教閱，令士卒習於風濤之險”。由於北方人一般不習水性，為避免在訓練中浪費時間，宋代水軍經常招募習水的南方民眾入伍，減少不必要的重複訓練，北宋末年蔡肇寫道：“渠儂幸自慣水戰，駕水樓船救江表。”南宋王十朋也說：“爾曹生長行伍間，操舟習水便宜閑。異日捐軀宜報國，勿效水鳥為盜賊。”
掌握水性這一基本技能之後，接下來就是作戰能力了。宋代處於冷熱兵器初期，水軍作戰武器雖然包括部分火器，但是以冷兵器為主。當時水戰作戰與陸戰相似，遠戰依靠弓弩等遠距離攻擊武器，近戰主要是刀、槍等短兵器。
黃天蕩大戰中，金將高彪與宋軍戰船相逼，“彪度垂及，以鉤拽之，率勇士數十，躍入敵舟，所殺甚眾，餘皆逼死於水中。”這與紹興二年（1132）範寅提出剿滅楊麼的戰法相類似，“其勝賊之具，弓矢為上，鉤槍次之，手刀又次之，又擇十人牌砲手，使居前列，牌以衛我師，砲以擊賊……使令乘載人兵，習其擊刺，使戰士習熟波濤，若履平地，何賊不勝乎？”說明水戰遠距離依靠弓弩攻擊，盾牌防衛，用鉤槍拉近船距，然後進行近身格鬥。
包恢為福建提刑時談到水軍使用武器，“……欲略備軍器，則舟師水戰弓弩為先，須先多備，次則槍杈刀劍等亦須色色精利。此乃官兵將佐常用之器，自當多多益辦，不容少有欠缺。”馮湛將俘獲海盜編入水軍，也是“教以擊刺弓矢之技”。《寶慶四明誌》記載定海水軍中編製：
引戰教頭二十二人，旗頭一百三十二人，牌手一百七十一人，刀手七百七十一人，槍手四百六十八人，弓箭手五百五十六人，弩手八百六十人，角匠二十二人，金手二十三人，鼓手六十一人，準備帶甲旗頭四十四人，梢矴旗頭二十二人，隊司二十二人，梢工六十六人，矴手三百三十人，押火二十二人。
其中除去梢工、矴手、押火等非戰鬥人員，水軍士兵使用武器不外乎刀、槍、牌、弓弩等。
南宋降將劉整訓練元軍水戰，“造船五千艘，日練水軍，雖雨不能出，亦畫地為船而習之”。這裏說水軍“畫地為船”，估計也是進行格鬥訓練，否則如何能夠用這種方式訓練水軍。
再者從當時船構造既可以看出當時水戰主要使用的武器，如“艨艟者，以生牛革蒙戰船背，左右開掣棹空，矢石不能敗。前後左右有弩窗、矛穴，敵近則施放。此不用大船，務在捷速，乘人之不備。”這裏士兵需要的依舊是弓弩和矛，不同的是必須熟悉在船上使用上述武器。“走舸者，船舷上立女牆，棹夫多，戰卒皆選勇力精銳者充。往返如飛鷗，乘人之所不及。金鼓旌旗在上。”這則是進行貼身戰鬥的士兵，使用短兵器。
既然武器裝備與陸軍大致相同，不外乎刀、槍、弓弩等兵器，那麼訓練內容也相差不大，重要的是訓練士兵熟悉在水上環境作戰的能力，“使戰士習熟波濤，若履平地”。
南宋中晚期後，水軍裝備出現不少火器：“火鎗、火炮、熾炭”。火箭，是一種用弓弩發射的火箭。用紙把火藥包裝成球或卷筒狀，綁在靠近箭鏃的箭杆上，用時先點火，然後射向目標。在膠西海戰中，宋軍大量使用火箭，用“火箭環射”的戰術摧毀了大量金軍戰船。而《金史》則記為：“有頃，敵果至，見我軍無備，即以火砲擲之。”這可能是一種投擲性武器，前述宋軍在鎮壓楊麼就曾經使用，還有采石之戰中南宋水軍使用的霹靂砲，外層用紙包裹，內填石灰和硫磺，砲自空中落入水中，硫磺遇水起火，自水中跳出，“其聲如雷，紙裂而石灰散為煙霧，”眯住敵方，“人馬之目，人物不相見”。這些都是投擲性武器，訓練中當然要為訓練士兵力量為主。
不過當時火器的殺傷力不足，崖山之戰中，元軍“豫構戰樓於舟尾，以布幙障之，命將士負盾而伏，令之曰：‘聞金聲起戰，先金而妄動者死！’飛矢集如蝟，伏盾者不動。舟將接，鳴金撤障，弓弩火石交作，頃刻並破七舟，宋師大潰。”假如宋軍使用的以火器為主，那元軍用盾牌很難抵抗的，可見在遠距離作戰中宋水軍還是以弓弩為主。