潜艇的最早设计者很可能是达芬奇这位伟大人物，但如同他的很多“发明”，他设计的潜艇也仅仅是一张图纸。而实际上最早提出“潜艇”概念的应该是意大利人伦纳德，他于公元1500年就提出了“水下航行船体结构”的概念，而将这一概念更加详细阐述的则是英国人威廉·伯恩，他于1578年出版了《发明》一书，这是一部关于潜艇的著作。
1620年，荷兰人尼利斯·德雷尔造出了第一艘潜艇，它实际上是一个木质箱子，外面用涂抹了油的牛皮密封；船内装有一个羊皮囊，这就象是鱼漂；这艘潜艇的动力是由12个人提供的，也是依靠木浆推进，潜水深度是3-5米。德雷尔因此被称为“潜艇之父”。
1724年，俄国人叶菲姆·尼科诺夫也制造出了一艘潜艇，它的取材略微复杂些，但没有多少实用价值。
1776年，美国独立战争期间，一名美国耶鲁大学的学生得到了华盛顿的支持，他希望能造出一种能在水下攻击敌人的实战潜艇。这就是后来大名鼎鼎的“海龟”，因为它的外形简直就是一个人造海龟。这艘潜艇有两个通风管可以通向海面，在下潜的时候里面的空气可以供一个人呼吸半个小时；上浮和下潜采用的是压水舱，用手泵控制；应急装备是一个90公斤的铁块，在紧急是可以抛弃，这样潜艇就能自动上浮；动力装置是两个螺旋桨，一个垂直，一个水平；武器是挂在潜艇外重68公斤的炸药包，当靠近敌船底部后就把炸药包挂在敌船上。
1776年9月7日，一名叫埃兹拉·李的士兵驾驶着这艘潜艇执行了人类历史上第一次水下攻击任务。他成功地潜航到一艘英国战舰的底部，然后就开始用钻头在这艘战舰的底部钻孔，然而不幸的是，这个位置恰好是一块金属板，而不是木板，根本无法钻孔，结果在半个小时后舱内氧气耗尽只好上浮，“海龟”号尽管没能炸沉这艘英国战舰，却着实吓了英国人一跳。
此后，潜艇进入一个大发展时期，1796年，爱尔兰人罗伯特·弗尔顿在“海龟”的基础上进行了改进，1801年，弗尔顿赢得了法国皇帝拿破仑的支持，建造了第一艘完整意义上的潜艇“鹦鹉螺”号。这艘潜艇外壳为铜，框架是铁的，长6.89米，最大直径3米，而且艇的中央有指挥塔，在水面航行的时候可以使用风帆；舱内可以使用压缩空气，可供4个人和两支蜡烛在水下航行3小时；潜深是8-9米；还有一个平衡舵，这是一个后来普遍采用的装置；武器是水雷，攻击方式与“海龟”一致。
但弗尔顿的命运也没好多少，“鹦鹉螺”号在实验时表现良好，在实战中却效果很差，法国海军部长因此赶走了他。弗尔顿一怒之下投靠了法国的敌人——英国，英国首相威廉·皮特又给了他一次机会，“鹦鹉螺”号在实验中成功击沉了“多罗西”号双桅战舰，但在皮特死后英国人还是放弃了这个怪物。
19世纪中叶，德国人威廉·鲍尔在“鹦鹉螺”的基础上“火焰”号，他改进的是动力装置，即使用脚踏螺旋桨推进，这艘潜艇名垂历史还有另外一个原因就是它是人类历史上第一艘遇险而又成功脱险的潜艇，当时由于操作失误导致潜艇向海底冲去，海水立即涌进了舱室，而鲍尔则镇静地说，当海水涌进来一段时间后，舱内的空气受压最终会与外面的海水压力一致，此时打开舱门就可以脱险，最终他们果然成功浮出了海面。
1861年，美国南北战争期间，霍勒斯·亨莱和另外两名工程师克林、沃森一起研制了“亨莱”号潜艇。它实际上是有一个锅炉改造的，推进装置是一个手摇螺旋桨，当8名桨手统一行动的时候，这艘潜艇的速度竟然能达到4海里；但这艘潜艇的空气只能维持一个很短的时间，只能经常冒险上浮换气；武器是一枚鱼雷，由一根长61米的导线连接控制。“亨莱”号是一个短命鬼，在第二次试航的时候全体遇难。第三次亨莱本人亲自指挥，总算完成了一次试航；但在第四次试航的时候，亨莱和所有艇员全部丧生。
1864年2月17日，“亨莱”号开始了第一次执行任务，目标是北方军队的“休斯敦”号轻巡洋舰。晚9时，“亨莱”号终于靠近了“休斯敦”号，在距离10米后，“亨莱”号用一个竹竿将一枚水雷挂在了“休斯敦”号上，随后，水雷被引爆，“休斯敦”号弹药舱被引爆，导致了一连串爆炸，最终沉没。但“亨莱”号也因行动过慢，结果在爆炸发生后无法及时逃离，被“休斯敦”号沉没时的下降水流带进了深海，成了陪葬品。