焦耳出生在一个啤酒酿造商的家庭里，少年时代勤奋好学，喜欢思索问题。上学以后，他受到老师——著名化学家道尔顿的影响，更加热爱科学，特别喜爱科学实验，有了问题，总想通过实验求得解决。
在焦耳生活的那个时代，人们普遍认为，热是包含在物体中的一种物质，物体的温度越高，包含的热越多。这种关于热的本质的学说，叫“热质说”。根据“热质说”，可以解释热从温度高的物体传导到温度低的物体的现象，就是说：热质从温度高的物体流到温度低的物体中去了。但是，假如“热质”是一种包含在物体里的物质，那么两个本来没有热质的物体互相摩擦，温度会升高，也就是摩擦可以生热，它们的“热质”是从哪里来的呢？这一点，用“热质说”就解释不通了。因此，一些人产生了怀疑，他们认为，热不是一种物质，而是能量的一种形式。焦耳就是这样想的。
当时，人们已经可以计算出能量从甲物体传到乙物体时所做的功。焦耳想，既然能量可以做功，也可以转变为热，那么，功和热之间的关系，是不是也可以找到一个公式把它表现出来呢？为了探索功与热转换中的数量关系，焦耳设计了400多次实验。他让水通过很细的管道，由于水与管壁摩擦生热，水温升高，然后根据水的多少、水温的变化，测出水获得的热量。同时，也测算出使水通过管道时所作的功，研究热与功之间的关系。为了测算得更加准确，焦耳设计了一个很著名的实验：用一个重锤，通过一套类似钟表的传动机构，带动轮具在液体中转动。轮翼转动时与液体摩擦生热。这样，焦耳就可以准确地分别测量出液体因摩擦而得到的热量，和重锤下落时所失去的势能——也就是重力所作的功。焦耳比较了水和水银这两种不同的液体所得到的热量。结果发现，只要重锤是从同一高度落下，即所作的功是相同的话，那么，不管什么液体（水或水银），都将获得同样多的热量。
经过十年的苦心研究，大量的实验事实使焦耳得到一个结论：不管用什么方式作功，一定量的功总会转化为一定量的热。热能与机械能之间的数量关系是：使一磅（454克）重的华氏55度-60度之间的水，温度升高1度所需要的热量，相当于772磅重的物体在空中下降1英尺（0.305米）重力所作的功。这就是“热功当量”，目前广泛采用的热功当量数值为427千克·米/千卡，它是一项很重要的发现。
焦耳关于热功当量的实验和发现，不但纠正了人们过去对于热的本质的错误认识，证明了热原来是一种能，并且在实质上发现了能量是可以互相转换的，又是守恒的，为“能量转换和守恒定律”的建立奠定了重要的基础。为了纪念这位伟大的物理学家的贡献，物理学界采用了他的名字“焦耳”作为功的单位。
科学小链接
焦耳—楞次定律
1840年12月，焦耳在英国皇家学会上宣读了关于电流生热的论文，提出电流通过导体产生热量的定律：载流导体中产生的热量Q（称为焦耳热）与电流I的平方、导体的电阻R、通电时间t成正比。不久楞次也独立地发现了同样的定律，而被称为焦耳—楞次定律。