今天使用台式计算机或者笔记本电脑的人们，很难想象第一台电子计算机是一屋子庞然大物，质量达30吨。
人类在远古时代就已经开始计算了。最早的计算工具就是自己的手指，后来又用石块、木棍、竹签、骨棒、绳子等来帮助计算。公元前5世纪，中国人发明了算筹，后来又发明了算盘，广泛应用于商业贸易中。
欧洲人最初也是用算筹来计算。17世纪，文艺复兴促进了欧洲近代科学的发展，机械制造、航海定位、开凿运河、修筑堤坝、天文观测、计算火炮弹道以及政府财政、税收等许多方面都需要复杂的计算，人们感到有必要研制一种能够替代手工计算的机械装置。英国数学家纳皮尔发明了计算尺，法国数学家帕斯卡发明了能够自动进位的机械加法器，德国数学家莱布尼兹对此做了改进，使之可以计算乘法。此后，法国人库尔马发明了可以进行四则运算的手摇计算机，一直沿用到20世纪初。
现代意义的电子计算机首先得益于图灵。1937年，英国数学家图灵提出有关二进制数字计算机的原理和模型，后人称之为“图灵机”。美国科学家冯·诺伊曼等人也对计算机的设计发展起到关键作用。
第二次世界大战中，由于军事的需要，美国科学家研制出第一台电子计算机，共用了1.8万个电子管，总重量为30吨，每秒能进行5000次加法或400次乘法运算。
1949年发明晶体管后，第二代计算机诞生，采用磁芯存储器作为内存，可以存储程序，运算速度达到每秒几万次。这一时期出现了COBOL和FORTRAN等程序语言，使计算机编程更容易，并诞生了程序员、分析员和计算机系统专家等新的职业和软件产业。
20世纪80年代以后，超大规模集成电路可以在芯片上容纳了几十万甚至上百万个元件，使计算机的体积和价格不断下降，而功能和可靠性不断增强，运算速度可达到每秒几亿次。1981年，IBM公司首次推出个人计算机，带有供非专业人员使用的程序和字处理软件，可以用鼠标方便地操作，用于家庭、办公室和学校。微软公司推出了最早的视窗操作系统。此后，计算机价格不断下降，开始广泛应用于各行各业。与此同时，计算机也在向不同类型方向发展，包括专用计算机、台式计算机、笔记本电脑、掌上电脑、服务器、工作站、大型计算机、超级计算机等，计算速度最快已达到每秒几十万亿次。
目前，科学家正在研制第五代计算机，包括超导计算机、光计算机、量子计算机、生物计算机、人工智能计算机等，能在更大程度上仿真人的智能。