一九零六年，卢瑟福对原子内部结构开始进行剖析。卢瑟福认为，要了解原子内部结构，最好是把它砸开。他们选择α粒子的核作为砸开原子的子弹。平常叫α粒子的微粒实际上就是氦的原子核，它包括两个质子和两个中子。由于没有电子来跟质子的正电荷平衡，所以α粒子带有正电荷。但在当时，人们并没有原子的概念，更谈不上质子和中子。射击α粒子的枪是极少量的镭。镭是放射性元素，它连续不断地放射出阿尔法粒子。镭放在一个沉重的铅容器里面，仅开一个小口，让α粒子射出。1909～1911年，英国物理学家卢瑟福和他的合作者们做了用α粒子轰击金箔的实验，实验做法如下：在一个小铅盒里放有少量的放射性元素钋，它发出的α粒子从铅盒的小孔射出，形成很细的一束射线射到金箔上。这东西虽然很薄，但是原子非常小，金箔还是比原子厚2000倍以上。α粒子穿过金箔后，打到荧光屏上产生一个个的闪光，这些闪光可以用显微镜观察到。整个装置放在一个抽成真空的容器里，荧光屏和显微镜能够围绕金箔在一个圆周上转动。
假如用一颗小石弹（α粒子）击向一张巨大的弹子台上紧紧地堆在一起的弹子（金原子），你也许会认为石弹一定会穿不过。可是，这却不是卢瑟福和盖革在这个试验里所得到的答案。他们照样看到了荧光屏上的闪光，α粒子能够穿过去！其中绝大部分是笔直穿过去的。但是，有极少数的粒子偏移过大。根据汤姆生模型计算的结果，α粒子穿过金箔后偏离原来方向的角度是很小的。因为电子的质量很小，不到α粒子的1/7000，α粒子碰到它，运动方向不会发生明显的改变；正电荷又是均匀分布的，α粒子穿过原子时，它受到的原子内部两侧正电荷的斥力相当大一部分互相抵消，使α粒子偏转的力不会很大。实验结果让人难以料想。绝大多数α粒子穿过金箔后仍沿原来的方向前进，少数粒子却发生了较大的偏转，并且有极少数粒子偏转角超过了90°，有的甚至被弹回，偏转角几乎达到180°。这种现象叫做α粒子的散射。实验中产生的α粒子大角度散射现象，使卢瑟福感到惊奇。因为这需要有很强的相互作用力，除非原子的大部分质量和电荷集中到一个很小的核上，大角度的散射是不可能的。
卢瑟福经过反复研究实验，1911年公布了他的原子模型构想：原子里有一个很重的中心，叫做核。离核很远，绕着核飞快旋转的是电子，每一个电子都在一种确定的轨道上运行着。电子的运行有各种不同的速度。最外层的电子每秒大约走1000公里，靠近核的每秒走约15万公里——光速的一半。卢瑟福拿原子的结构跟太阳系比。他说，原子核是原子的中心，正像太阳是太阳系的中心一样。电子隔着很远的距离沿轨道绕着中心旋转，正像行星隔着很远的距离沿着轨道绕着太阳旋转一样。假如原子的大部分是一个空壳，这就能够说明α粒子穿透金箔的原因。如果原子内部有一个虽然很小、可是却带正电荷的核的话，这就会使一些带正电的α粒子偏离轨道，甚至弹回去。