希腊是第一个拥有路轨运输的国家，在至少2000年前就已有乌拉的车沿着轨道运行。
1804年，理查·特尔维域克在英国威尔士发明了第一台能在铁轨上前进的蒸汽机车，但遗憾的是没赚到什么钱。第一台真正取得成功的蒸汽机车还是乔治·史蒂芬孙在1829年建造的"火箭号"。
19世纪20年代，第一条成功的蒸汽火车铁路是英格兰的史托顿与达灵顿铁路。后来的利物浦与曼彻斯特铁路则更显示了铁路的巨大发展潜力。很快铁路便在英国和世界各地通行起来，而且成为近一个世纪的世界交通领导者，直至飞机和汽车发明才减低了铁路的重要性。
高架电缆在1888年发明后，1892年，第一条使用高架电缆的电气化铁路开始启用。
第二次世界大战后，以蒸汽推动的列车逐步被柴油和电力驱动的列车所取代。从20世纪60年代起，很多国家均建置高速铁路。而货运铁路也连接至港口，并与船运合作，以货柜运送大量货物来大大减低成本。
在全球236个国家和地区之中，已有144个国家设有铁路运输，其中还包括全世界最小的国家梵蒂冈在内，约有90个国家提供客运铁路服务。因此铁路依然是世界上载客量最多的交通工具，并拥有无法被取代的地位。
中国第一条铁路建于上海，是由英国人兴建，后来被清朝地方官员买回并拆毁。而正式投入使用的第一条铁路和蒸汽机车则是由李鸿章兴办的开滦公司煤矿所建。