一九零六年，盧瑟福對原子內部結構開始進行剖析。盧瑟福認為，要了解原子內部結構，最好是把它砸開。他們選擇α粒子的核作為砸開原子的子彈。平常叫α粒子的微粒實際上就是氦的原子核，它包括兩個質子和兩個中子。由於沒有電子來跟質子的正電荷平衡，所以α粒子帶有正電荷。但在當時，人們並沒有原子的概念，更談不上質子和中子。射擊α粒子的槍是極少量的鐳。鐳是放射性元素，它連續不斷地放射出阿爾法粒子。鐳放在一個沉重的鉛容器裏麵，僅開一個小口，讓α粒子射出。1909～1911年，英國物理學家盧瑟福和他的合作者們做了用α粒子轟擊金箔的實驗，實驗做法如下：在一個小鉛盒裏放有少量的放射性元素釙，它發出的α粒子從鉛盒的小孔射出，形成很細的一束射線射到金箔上。這東西雖然很薄，但是原子非常小，金箔還是比原子厚2000倍以上。α粒子穿過金箔後，打到熒光屏上產生一個個的閃光，這些閃光可以用顯微鏡觀察到。整個裝置放在一個抽成真空的容器裏，熒光屏和顯微鏡能夠圍繞金箔在一個圓周上轉動。
假如用一顆小石彈（α粒子）擊向一張巨大的彈子台上緊緊地堆在一起的彈子（金原子），你也許會認為石彈一定會穿不過。可是，這卻不是盧瑟福和蓋革在這個試驗裏所得到的答案。他們照樣看到了熒光屏上的閃光，α粒子能夠穿過去！其中絕大部分是筆直穿過去的。但是，有極少數的粒子偏移過大。根據湯姆生模型計算的結果，α粒子穿過金箔後偏離原來方向的角度是很小的。因為電子的質量很小，不到α粒子的1/7000，α粒子碰到它，運動方向不會發生明顯的改變；正電荷又是均勻分布的，α粒子穿過原子時，它受到的原子內部兩側正電荷的斥力相當大一部分互相抵消，使α粒子偏轉的力不會很大。實驗結果讓人難以料想。絕大多數α粒子穿過金箔後仍沿原來的方向前進，少數粒子卻發生了較大的偏轉，並且有極少數粒子偏轉角超過了90°，有的甚至被彈回，偏轉角幾乎達到180°。這種現象叫做α粒子的散射。實驗中產生的α粒子大角度散射現象，使盧瑟福感到驚奇。因為這需要有很強的相互作用力，除非原子的大部分質量和電荷集中到一個很小的核上，大角度的散射是不可能的。
盧瑟福經過反複研究實驗，1911年公布了他的原子模型構想：原子裏有一個很重的中心，叫做核。離核很遠，繞著核飛快旋轉的是電子，每一個電子都在一種確定的軌道上運行著。電子的運行有各種不同的速度。最外層的電子每秒大約走1000公裏，靠近核的每秒走約15萬公裏——光速的一半。盧瑟福拿原子的結構跟太陽係比。他說，原子核是原子的中心，正像太陽是太陽係的中心一樣。電子隔著很遠的距離沿軌道繞著中心旋轉，正像行星隔著很遠的距離沿著軌道繞著太陽旋轉一樣。假如原子的大部分是一個空殼，這就能夠說明α粒子穿透金箔的原因。如果原子內部有一個雖然很小、可是卻帶正電荷的核的話，這就會使一些帶正電的α粒子偏離軌道，甚至彈回去。