对于自来水笔最早的记述，是俄国叶卡捷琳娜大帝在她的回忆录中提到，她曾于1748 年使用“永久笔”写过字，也许这就是最早出现的自来水笔。
18 世纪，发明家们发明了各种各样的自来水笔，他们也申请了400多项专利。金属笔尖发明后，人们在钢笔杆里装进墨水，方便在外出时使用。有几位发明家进行了种种尝试。英国的约瑟夫·布拉玛用薄银做笔杆，只需要轻轻地掀一掀笔杆，墨水就流到笔尖上。它的这个发明获得了专利。但是这种笔容易漏墨水， 弄得满手都是墨水。后来布拉玛在笔杆里加一支用来装墨水的胶管，挤压胶管，墨水就会流出来，解决了漏墨水的问题。但是，无法控制墨水的流出量，不是多挤出墨水，就是不出水。
此外，美国路易斯等人也发明了自来水笔，但都不怎么好使。
1852 年人们制成了胶木，并用胶木代替了木质材料作为笔杆，从客观上为后来自来水笔的发明创造了条件。
30 年后， 美国人艾奇逊· 沃特曼终于发明了实用自来水笔。关于他发明自来水笔还有一个有趣的小故事。艾奇逊·沃特曼本是在一家保险公司的业务员。1880年前后的一天， 他凭自己强大的说服力， 很快赢得了顾客的信任。签单的时候， 沃特曼递给顾客一只羽毛笔，请他在合同上签字。那只羽毛笔突然漏了一滩墨水，把合同弄脏了。就在沃特曼去取新的合同的这段时间里，有位竞争对手乘机而入，抢走了这个订单。眼见生意泡汤，沃特曼十分沮丧，他决心设计一种能自动控制墨水、使用方便的笔。
于是他把搁下了保险业务，走上了发明之路。他从植物内毛细管输递液体的原理得到启示，经过无数次失败，到1884 年他终于制造出理想中的自来水笔，墨水基本上不会突然滴漏出来了。于是沃特曼马上行动，在纽约建立了世界上第一座自来水笔厂。不久，即在整个美国以至世界各国销售自来水笔。目前，沃特曼钢笔仍然是广受欢迎的世界一流的自来水笔。
除沃特曼钢笔，自来水笔中最有名的要数派克笔了。它的发明者派克，原来是中学教员，因工资很低，无法维持生活，兼职做修笔工。后来他辞职开设了制笔公司，这就是现在为大家所熟知的派克制笔公司。真正使派克笔扬名天下的是第二次世界大战。派克为了适应军队战争的需要， 试制出了一种“清水笔”。将笔管内预先放入墨汁， 只要吸入清水， 就可以书写。这种笔大受部队的欢迎，并随着军人的影响， 走遍了世界各地。后来肯尼斯·派克继承父业后，又设计出一种使用快干墨水的自来水笔。在派克公司五十一周年纪念日时，小派克把这种笔定名为“派克五十一型”。这种“派克五十一型”很快占据了世界高档自来水笔市场。