漢代水軍稱樓船軍。在我國武裝力量建製中正式設置水軍，是從西漢開始的。據《漢宮儀》記載，“高祖命天下郡國，選能引關蹶張，材力武猛者，以為輕車、騎士、材官、樓船……平地用車騎，山阻用材官，水泉用樓船。”又據《漢書·刑法誌》記載，漢武帝發動統一東南沿海戰爭時，“內增七校，外有樓船，皆歲時講肄，修武備”。這兩項記載說明，樓船軍是在屯騎（騎兵）、步兵等七校之外，根據沿江海的地理條件和防務需要而設立的，屬漢代郡國兵製備軍。郡國兵屬於中央王朝，郡守可行使管轄權，但不能發兵。發兵需憑皇帝的虎符和行使符。武帝建元三年（公元前138年），漢武帝“遣助以節發兵會稽”，浮海救東甌，（《前漢書·嚴助傳》）就是一例。
樓船軍士兵稱“樓船士”、“楫濯士”，或“棹卒”，多由漁民、水家子弟充任。其服役年齡為23歲到56歲。
如前所述，漢代水軍既屬郡國兵，自然不設常任指揮官，所以在《漢書》百官表中沒有載列樓船官職。統帥樓船軍作戰的指揮官，是在征伐時臨時拜封的。例如散見於《史記》、《漢書》名傳中的，有伏波將軍路博德、馬援，樓船將軍楊仆、段誌，戈船將軍歸義越侯嚴，下瀨將軍歸義越侯甲，橫海將軍韓說，橫海校尉劉福等人。這些將軍的等級和職務大小，史書中未見有明確劃分，其中伏波將軍的職務可能最高。因為據《後漢書·光武帝紀》記載，漢光武帝發兵征高趾郡時，樓船將軍段誌是由伏波將軍馬援節製的。漢兵製規定“不立素將，無擁兵專製之虞”，（轉引自包遵彭《中國海軍史》）因事立稱，事畢撤官，兵歸防地。所以漢代隻有常備的水軍部隊，而無常設的水軍將領。平時樓船的管理和訓練，由沒有指揮權的官員負責。例如《漢書·百官公卿表》中列舉的楫濯令丞（即船官）和《漢書·地理誌》中提到的樓船官，就是這類官員。
漢代水軍將士戴黃帽，這是按五行學說，“土勝水，其色黃，故刺船之，即皆者黃帽，因號曰黃頭即也”。（《漢書·鄧通》顏注）
漢代樓船軍為郡國兵，原則上以外郡為基地，主要在江淮以南，但在北方的齊地也有樓船軍及其基地，如進攻朝鮮的樓船就是從現在的山東半島調集和出發的。從現有史料查考到的漢代樓船軍的主要基地有：
豫章、尋陽
豫章屬豫章郡，即今之南昌。據《漢書·武帝紀》記載，平南越時，“樓船將軍楊仆，出豫章，下湞水”，便是從南昌溯贛江南下，在贛州人桃江轉入湞水，順流達韶關，再進入北江直到廣州。若由贛江北上，則可過鄱陽湖，進入長江。尋陽，屬廬江郡，在九江府西15裏，據江湖之口，為咽喉要地。《漢書·伍被傳》上說：“略衡山，以擊廬江，有尋陽之船。”《漢書·嚴助傳》也說到閩越反叛，而“入燔尋陽樓船”。漢武帝第三次巡海是從尋陽登船沿江東下的。可見尋陽是漢代較重要的一處水軍基地。