1736年瓦特出生于苏格兰格林诺克市镇的一个工人家庭，父亲是一位技高艺精的工人，擅长机械修理和制作，在家乡经营了一个小作坊，专门制造和修理船上的仪器和装备，在当地颇有些名气。
小瓦特特别爱转动脑子，有一双特别敏锐的眼睛，因此他有特别多的问题。生火、烧水、做饭，对这种司空见惯的事，人人看在眼里，却无人留意在心上，偏偏在小瓦特那里出了“问题”。
有一天，他在厨房里看奶奶做饭，炉子上的一壶水烧开了，壶里冒出一股股水蒸气，还不断地发出“哧哧”的声响，壶盖也不停地上下跳动着。他目不转睛地盯着那跳动的壶盖和冒出的水蒸气，苦思冥想其中的奥秘，百思不得其解，就跑过去问奶奶：
“奶奶，壶盖为什么会上下跳动呢？”奶奶听了，不经意地回答说：
“水一开，壶盖就跳动了呗！”“为什么水开了，壶盖就会跳动？究竟是什么东西推动的呢？”奶奶被孙子问住了，无言以对。
虚弱的身体令瓦特不得不退学在家，但在父母的支持下，他长期坚持自学，有计划地刻苦读书，15岁时，就把《物理学原理》读得烂熟。他还经常随父亲到工厂学习机械制造技术，进行化学和电学实验。靠着虚心求学、刻苦钻研的精神，他获得了丰富的木工、金属冶炼和加工等工艺技术，够得上一个技术工人的水平了。
瓦特17岁时，母亲去世了，父亲在商业上也陷入困境，家庭经济状况日见窘迫，瓦特不得不开始独立谋生。他收拾了个简单的行李箱，告别父亲，先到格拉斯哥当了一年的钟表修理工，然后又南下，来到繁华的伦敦，那里云集着全国优秀的器械制造者。这个在自己行李箱里只有一些简单工具和一件皮质围裙的穷小伙，奔波在伦敦的大街小巷，四处寻找着身怀绝技的师傅。在好心人的指点下，他找到了著名机械师摩根，虚心地拜他为师。
摩根看这个学徒不错，所以非常愿意教这位年轻人，本来要用7年才学会的技术，结果瓦特只用了4年的时间就学会了。
学到技术的瓦特回到了家乡，准备和父亲一块再重振家业，他们父子俩想筹办一个数学用具的加工厂，但是许多亲戚和朋友以及同行们都不看好这个加工厂，没能办成，瓦特只好到格拉斯哥大学里去当一名仪器修理工。
在格拉斯哥大学里，瓦特有机会接触到许多科学家，一天瓦特站在开水房里发呆，一个戴着眼镜的教授走了进来，他居然一点也没有觉察。教授看这个年轻人傻乎乎的样子就问道：
“喂，年轻人，你在这里发什么愣？”
“唉，什么？哦，我……”
教授看这个年轻人十分可爱，于是又问道：“你是哪一个班的？”
“我不是哪个班的，我是学校里专门修理仪表的工人，我是来修这个水压表的。”
“刚才我好像看见你看着热气发呆。”
“是的，我一直想研究这个东西。”
“如果有工夫你可以到我的实验室来看看。”
就这样瓦特便和大学里教热学的布莱特教授认识了，从此，瓦特便经常到布莱特教授那儿去，他从布莱特教授那里学到了很多科学理论，这对他日后改进蒸汽机有很大的帮助。
1764年的一天，学校派他去修理一台用于教学的纽科门蒸汽机，瓦特听到这个消息以后，高兴极了，在修理过程中他发现了纽科门蒸汽机的蒸汽缸非常小，但是炉子里发生的蒸汽却非常大，于是他把这个问题拿去向布莱特教授请教。
在布莱特教授的指点下，瓦特计算出了水变成蒸汽后体积就扩大了将近一千八百倍，根据这一计算，纽科门的蒸汽机完全可以把汽缸再制造大一些。
后来瓦特又把自己计算出来的结果拿去给布莱特教授看，布莱特肯定了瓦特的研究是正确的，在布莱特教授的鼓励下，他大胆地按自己的想法设计了一个蒸汽机的模型，但是要将这个模型变成一台真正的蒸汽机，以当时的经济条件实在太难，多次的努力，都失败了，他的模型一放便是好几年，瓦特已经对这个想法失去信心了。
为了帮助瓦特，布莱特教授通过四处打听，最后终于找到了一位热心于技术开发的企业家罗巴克。罗巴克是一位专门开发煤矿的企业家和商人，当他在布莱特教授的介绍下看了瓦特的蒸汽机后，他终于跟瓦特签订了共同开发新型蒸汽机的合同。但由于工艺技术的落后，使得瓦特的蒸汽机没有成功，罗巴克却因为考虑破费太大而拒绝合作。但另一位企业家博尔顿找到了瓦特，给了他经济支持。
经过3年多的反复试验，终于在1768年制造出真正能够运转的蒸汽机。第二年，他获得了发明的专利权。瓦特发明的新型蒸汽机，除了采用分离式冷凝器外，还采用了如机油润滑、填料函、气缸绝热套等一系列改进和发明，它的耗煤量仅为纽可门蒸汽机的1／4，工作效率却大大提高。
1781年，瓦特提出5种将往复运动转变成旋转运动的方法，其中最有名的“行星齿轮结构”在后来的工业生产中得到广泛应用；1782年，瓦特获得了“双动作蒸汽机”的专利；1784年，瓦特在他的新专利中又提出了“平行连杆结构”的说法，这使蒸汽机具有了更广泛的实用性。1788年，他又发明了离心调速器和节气阀；1790年，又完成了气缸示功器的发明。至此，瓦特完成了对蒸汽机发明的全过程。
瓦特对蒸汽机的发明是第一次工业革命中划时代的重大事件。蒸汽机的广泛应用，使人类获得了空前强劲的、可被人类控制的动力资源，对社会经济的跨越性发展起了关键性作用。1807年，美国人富尔敦把瓦特的蒸汽机装在轮船上，宣告了航运帆船时代的终结。1814年，英国人史蒂芬把瓦特的蒸汽机装在火车上，开始了陆路运输的新时代。1785年，瓦特被选为伦敦皇家学会会员。1806年，被授予格拉斯哥大学法学博士头衔。1814年，他被推荐为法兰西国家学会的会员。1819年8月25日，瓦特在家中安然去世，享年85岁。后人为了纪念他的伟大发明，把功率计算单位称为“瓦特”。