他的实验创立了崭新的原子结构理论，标志着原子物理学的诞生。
长期以来，科学家们对原子的内部结构进行了种种推测，有的说，原子是物质存在的最小单位，是不可分割的，它的形状像台球一样；有的说，原子的模样像西瓜，瓜瓤象征原子内均匀分布着的正电荷，瓜子就是电子。而持后一种假说的正是英国物理学家卢瑟福的老师汤姆逊。
“老师的假说到底对不对呢？”卢瑟福对这个问题进行了长期的思索。他想，假如说原子真像个西瓜，那么，如果用比原子更小的粒子作“炮弹”来轰击它，必然很容易穿过它而笔直地前进。于是，他决定用一种叫做的粒子做“炮弹”，来做一次轰击原子的实验。
他制作了一部射线的侦测仪器。透过这种仪器，用肉眼就可以观测到粒子撞击时发出的微弱闪光。
实验时，他在放射源和荧光屏之间，放一块薄金属片，由放射源所发射出来的具有很大能量的粒子，它带正电荷，能够穿透金属片打在荧光屏上，从荧光屏上就可以数出粒子的数目。当时，他看到绝大部分粒子穿过金属片后仍沿着直线方向进行，但也发现了一些奇异的现象，即有些粒子在穿过金属片时，发生大角度的偏转，有的大于90°，有的甚至达到180°。卢瑟福把这种现象叫作粒子的散射现象，这说明汤姆逊的假说与实验结果不符。
卢瑟福把他所发现的原子结构模型形象地比喻为“小太阳系”：“原子既不是台球，也不是西瓜，而是一个空旷的结构。它的中心有个体积极小，带阳电的核，外面绕着核转的是带阴电的电子。打个比方：
原子核好比太阳，是它的中心；电子就像行星，绕着太阳转……”
几天后，卢瑟福便拿出了理论计算公式，它和实验的结果基本一致。
1911年3月17日，他在曼彻斯特哲学会上作了题为《、的散射和原子的结构》的报告，这一报告还刊登在同年的《哲学杂志》
上，公开了他的研究成果。精密的实验，严格的理论，标志着物理学的一个新时代——原子时代开始了！
卢瑟福创立的崭新的原子结构理论具有划时代的意义，原子和原子物理学从此诞生了！这是他对人类科学事业最重要的贡献之一，在物理学乃至整个科学上占有极其重要的地位。
今天科学家由研究核外电子的运动构成了原子物理学；而对原子中的核的研究则发展为原子核物理学，它们都是现代科学中最重要的领域。如果没有它们，也不会有光谱学、激光技术及原子能等许多现代科学技术的诞生。