中國古代航行史初期，因船體較小，人們也不想去水深的地方，所以一般是利用竹篙和木槳來控製航行方向。隨著造船技術的進步，人們活動範圍逐漸擴展到深水區域，於是有了舵。舵是用於掌握和控製船舶的航行方向的裝置，實際上，舵還是從槳劃分出來的。船一大，木槳的數量自然就要增加，需要多人來劃。這時，木槳就有兩個任務，一個是負責推行，另外，還要拐彎，也就是製導方向。槳一身不能兼二職，於是，人們就把槳按職能分成兩類，一類專管劃行，一類負責控製方向。專管控製方向的槳，稱為舵槳，它的位置逐漸從船舷移至船尾中部，成為尾槳，操縱方法逐步從劃動改變為不離開水麵的左右來回擺動。這種舵槳就是後世的導向裝置——舵的原型。
舵槳出現的時間很長，在三千多年前的商朝就已經有了它的身影。甲骨文中的“般”字，有手持木槳劃船並操縱方向的形象和含義。船尾舵槳雖然能比較有效地控製航行方向，但是，它的缺點也很明顯。因此，人們進一步改進了舵槳的形狀，同時改變了其安裝方式，真正意義的舵就產生了。
中國真正意義上的舵大約出現在東漢時期。東漢劉熙所著的《釋名》一書中的“釋船”篇說道，船尾後的裝置叫做舵，舵即拖的意思，因為它是拖在船尾的緣故；舵能幫助船隻不偏離航向，使它順利地抵達目的地。
早期的舵是斜伸出船尾的，在船後形成一個較長的凸出。為了彌補這一缺點，人們對舵的裝置進行了改進，將舵從船尾斜伸出改為垂直插入水中；舵麵與舵杆的連接位置，也由舵麵中部移到邊上。這種舵在唐代已出現，人們稱之為垂直舵。
宋代船舶大多使用長方形門舵。為了轉舵省力，宋代造船工匠在舵麵上打了許多孔，叫開孔舵。由於水的表麵張力作用，舵麵開孔不影響性能，卻可以減小水的阻力。所以，開孔舵稱得上是一件別具匠心的發明，如今還普遍使用。
北宋時期還出現了一種平衡舵。這種舵將一小部分舵麵移到舵杆前麵，這樣能夠縮小舵麵的擺動力矩，使操縱更靈活輕便。南宋海船上還出現了可隨水深淺而升降的升降舵。為了使舵可以升降，在舵上開有吊舵孔。吊舵索一端係在吊舵孔上，另一端係於船尾絞關上。
舵是中國造船技術的一個重大發明，後來，中國舵經阿拉伯傳入歐洲，成為開創人類大航海時代的技術條件之一。直到今天，舵仍然是船舶的主要操縱工具。