希臘是第一個擁有路軌運輸的國家，在至少2000年前就已有烏拉的車沿著軌道運行。
1804年，理查·特爾維域克在英國威爾士發明了第一台能在鐵軌上前進的蒸汽機車，但遺憾的是沒賺到什麼錢。第一台真正取得成功的蒸汽機車還是喬治·史蒂芬孫在1829年建造的“火箭號”。
19世紀20年代，第一條成功的蒸汽火車鐵路是英格蘭的史托頓與達靈頓鐵路。後來的利物浦與曼徹斯特鐵路則更顯示了鐵路的巨大發展潛力。很快鐵路便在英國和世界各地通行起來，而且成為近一個世紀的世界交通領導者，直至飛機和汽車發明才減低了鐵路的重要性。
高架電纜在1888年發明後，1892年，第一條使用高架電纜的電氣化鐵路開始啟用。
第二次世界大戰後，以蒸汽推動的列車逐步被柴油和電力驅動的列車所取代。從20世紀60年代起，很多國家均建置高速鐵路。而貨運鐵路也連接至港口，並與船運合作，以貨櫃運送大量貨物來大大減低成本。
在全球236個國家和地區之中，已有144個國家設有鐵路運輸，其中還包括全世界最小的國家梵蒂岡在內，約有90個國家提供客運鐵路服務。因此鐵路依然是世界上載客量最多的交通工具，並擁有無法被取代的地位。
中國第一條鐵路建於上海，是由英國人興建，後來被清朝地方官員買回並拆毀。而正式投入使用的第一條鐵路和蒸汽機車則是由李鴻章興辦的開灤公司煤礦所建。