2300多年前，马其顿国王亚历山大想去海底探索奇妙的世界。便命能工巧匠为他做一个用绳子拉着，可以沉落海底的不透水圆桶。他站在桶内，通过透明的玻璃小窗口，尽情观赏海底奇观。这是世界上有史可查的第一个潜水工具。
直到1957年，“沉行海底”的设想由英国人威廉·伯恩提出。1620年，在英国首者伦敦，荷兰物理学家科尼利斯·德雷贝尔建造了世界上第一艘潜水船。船体由木框架外包涂油的牛皮构成，舱内有个大羊皮囊灌上水，船可潜入四五米深的水中。这种潜水艇被认为是潜艇的雏形。1775年，美国人布什内尔建造了一艘单人驾驶的、以手摇螺旋桨为动力的木壳的“海龟号”潜艇，能在水下停留约30分钟。1797年，美国人罗伯特·富尔顿建造了一艘装置鱼雷的潜艇，这艘潜艇被认为是第一艘名副其实的军事潜艇。
历史进入了21世纪，潜水艇除了作为科学考察和实验之用外，最大的用途仍是军事。