從1903年開始，盧瑟福著手研究α射線的本質，直到1908年，偉大的實驗物理大師從未停止過自己的研究工作，到了曼徹斯特，他在助手們的幫助下又開始了新的重要實驗——光譜實驗，他要進一步地用光譜分析的方法來確定α射線的成分。
他的實驗裝置主要是一個α射線管，管的玻璃壁極薄，隻有001毫米厚，管徑約127毫米，內封裝有鐳射氣。鐳射氣能夠發射α粒子，α粒子可以穿過玻璃壁而射氣不能。α射線管外麵套一層玻璃管收集α粒子。然後讓係統放置兩天，等α粒子收集足夠多後，用水銀把α粒子通過時形成的氣體壓縮到放電管中。果然，從放電管得到的光譜顯示氦黃線。為了排除懷疑，盧瑟福把原來放鐳氣的管用氦氣充滿，在相同的條件下觀察放電管的譜線，卻找不到氦黃線。這就可以肯定，薄玻璃壁是漏不出氦原子的。這樣，盧瑟福用可靠的實驗事實證明了α粒子是帶正電的氦原子。
通過實驗，盧瑟福掌握了α粒子的本質、性質和作用。α射線是一種吸收率高、穿透力弱的粒子流，在磁場或電場中不會產生偏斜，盧瑟福稱它為“未被一個磁場或電場產生出可鑒別的偏斜的射線”。形成射線的α粒子是以很大速度拋射的電荷物質，具有較高的能量，確切地說，α粒子是帶電的氦原子。就是這樣，經過繁重而艱巨的勞動，經過長年不懈的努力，盧瑟福對α射線的性質得到了全麵而準確的了解，並確認α射線在放射性中所起的作用是非常重要的。於是，他選擇了α射線這一關鍵性的武器來揭開原子的內在奧秘。
在多年的α粒子性質的探測實驗中，盧瑟福不止一次地發現α射線被物質阻滯和散射的問題。在1904年～1905年的許多實驗中，讓α射線通過不同厚度的空氣和金箔後，α射線的速度會漸漸地慢下來，並且在磁場中的偏斜的曲率半徑不是變大而是變小了，而且他還發現了α射線通過空氣的譜線較寬並缺乏明顯界限。所有這些新出現的問題都不能不引起盧瑟福的思考，他準備做新的實驗來解決這些問題。
幾年來，盧瑟福和他的助手蓋革一直在不停地做著一連串的關於α射線的實驗。這次，他們用多層厚為00031毫米的鋁箔作為α射線的靶，用α射線對它進行轟擊，他們邊轟擊，邊漸漸地增加鋁箔的厚度，當加到12層時，α射線的速度為無鋁箔時的速度V0的064倍，這時，α粒子的能量相當於原有能量的41%。他們繼續實驗，繼續研究，結果又發現，當α粒子速度降至064V0時，α粒子便停止了使氣體離子化，也就是說，α射線的速度為原始速度的064倍這個速度值是α射線使氣體離子化的臨界速度，也是α粒子能夠打入原子的最低臨界速度。
接著，盧瑟福對蓋革說：“換一下靶子再試試看。”蓋革按著他的指示，用雲母將鋁箔換下來，然後讓射線通過雲母，從測量結果他們發現，由於散射，α射線產生了譜帶寬度，α射線從它們的徑跡約偏斜2°。這就是他們在實驗中發現的α射線的小角散射現象。他們斷定：將有一些α射線通過大得多的角度偏斜是完全可能的。這樣，盧瑟福和他的助手們不但發現了用雲母作靶的α射線的小角散射現象，同時也認識到α粒子在臨界速度以上時能打入原子內部，並能引起α射線的散射，散射的結果將引起原子內電場的反應。所以，我們可以通過散射的情況和原子內電場的反應來探索原子的內部結構。對，解決問題的思考就是這樣!盧瑟福和他的助手們信心百倍地工作著，他們斷定：較大的散射角完全可能存在，問題就在於能否測量到。
再創奇跡
促使盧瑟福進入α射線大角散射實驗的直接原因是蓋革在實驗中發現了α射線的反常散射現象。
盧瑟福到曼徹斯特大學工作後，在蓋革的幫助下，為了計數α粒子，一舉研製成功了用蓋革的名字命名的計數器，這是蓋革與盧瑟福的首次成功的合作。蓋革曾於1906年在德國埃朗根大學取得哲學博士學位，他的學位論文是關於氣體導電方麵的。不久，到曼徹斯特後，他與盧瑟福開始了很有成效的合作研究。由於開始時采用的計數器觸發管和計數室的長度不合適，雲母片和計數室中氣體分子使α射線產生了散射現象，影響了計數工作。這使他們認識到散射現象的消除對研製計數器十分重要。這就使蓋革在計數實驗還沒完成時，轉向α射線的散射問題。
於是，蓋革又開始了α射線的散射實驗。在一次實驗中，他發現用α粒子轟擊某原子時，出現“徑跡急轉彎”，這是α射線反常散射的一個征兆。他還發現散射角在很大程度上取決於靶材料的原子量，散射角與材料的厚度和材料的原子量成正比例，與α粒子速度成反比。這樣，盧瑟福和蓋革決定采用原子量大的金再做散射實驗。
19世紀末20世紀初，科學家們用於研究放射性的儀器大都很簡陋，不外乎就是驗電器、平行板電容器和手搖真空泵，像限靜電計被認為是最高級的電測儀器。據說，當年金箔、懸絲和火漆就是實驗室必備的基本器材。在記錄方麵，照相術起了很大作用，但是底片記錄的是長時間的統計效果，不利於分析。到了1908年，開始發明了一種閃爍鏡方法，用以觀測α粒子。
這個閃爍鏡實際上是一小塊硫化鋅屏幕，α粒子打到它上麵，會發出微弱的閃光，實驗者用顯微鏡對準硫化鋅屏，一個一個地記數，再移動顯微鏡的位置，分別讀取不同位置的閃爍數，就可以對α粒子的分布作出精確統計。閃爍計數法雖然是其他方法所不能比擬的，但是閃爍法要求觀測者眼睛始終盯在閃光屏上，全神貫注，一個不漏地記數。在整個實驗過程中都要守在暗室中，精神十分緊張。連續工作幾個小時，就會頭昏眼花，勞累不堪。就是在這樣艱苦的條件下，盧瑟福和他的助手們，不顧自己的勞累辛苦，用閃爍讀數的方法，靠一個一個計數，作出了發現原子核的偉大貢獻。
蓋革研究α粒子散射的實驗本來是用鋁箔放在α粒子的途中起散射作用的，後來發現金箔的效果更好，就促使他係統地研究起各種不同的物質對α射線的散射作用。
有一天，盧瑟福來到他們的實驗室，了解他們工作的進展情況，蓋革對盧瑟福說：“先生，馬斯登已經來了一段時間了，是否應該派給他一些工作?”盧瑟福回答說：“我也正在想這個問題，這樣吧，叫他做一個α粒子從金屬表麵直接反射的實驗，去找碰回頭的α粒子。我可以告訴你結論，不會有碰回來的α粒子的，應該很容易用實驗證實。”
馬斯登在蓋革的幫助下，認真地進行觀測。他們的裝置非常簡單，錐形玻璃管內充滿鐳射氣作為α射線源，管口用雲母片封好，α粒子可以由此穿出，硫化鋅閃爍屏所放的位置隻有α粒子經反射金屬片時才能打到屏上，否則無法直接打到。出乎他們意料的是，當他們把反射金屬片放在管口1厘米處，竟立即觀察到了閃爍。這使蓋革和馬斯登非常興奮，他們對盧瑟福說：“我們找到了碰回來的α粒子!”
這個結果使盧瑟福非常驚訝，因為按照當時一般所接受的湯姆遜模型，正電物質分布於整個原子中，對於能量相當高的α粒子而言是相當“鬆軟”，因此不應當產生大角度的偏轉。湯姆遜本人也作過估算，在他的模型中，一次的碰撞所能產生的偏轉角的數量級僅約1°～2°度。實驗的結果確實是絕大多數的α粒子僅偏轉了1°～2°度，那麼對大於90°的偏轉，甚至碰回頭的(偏轉180°)的α粒子，又作何解釋呢?當時一般所接受的解釋是有些α粒子經過多次的碰撞，始終往一個方向上偏離，最後造成了大角度的偏離，這種概率是很小的，而在實驗上測得大角度偏轉的α粒子也很少，所以這種解釋也大體被接受。但盧瑟福對這種解釋很不放心，他讓蓋革和馬斯登繼續做精確的定量實驗。
1909年3月的一天，蓋革和馬斯登把鐳的衰變物沉澱在一小板上，讓它放射的α射線經金箔反射到硫化鋅熒光屏上。金箔對α粒子的阻止力相當於2毫米厚的空氣時，有一半的入射α粒子被反射，當采用1平方厘米的鉑箔作為反射物時，統計反射α粒子的數目，α源的發射總數可根據鐳的衰變物的劑量折算。經過比較，他們得出結論，入射的α粒子中，每8000個有一個要反射回來。
當蓋革和馬斯登把這個數字報告給他們的老師時，偉大的實驗物理學家盧瑟福先生感到非常驚訝。後來他提到這件事時說：“這是我一生中最不可思議的事件。這就像您對著卷煙紙射出一顆15英寸的炮彈，卻被反彈回來一樣不可思議。”但這畢竟是事實，千真萬確的事實!不由得盧瑟福不去思考。
多次碰撞理論可以解釋小角度散射或偶爾的大角度散射。但盧瑟福做了一下估算，對於蓋革他們實驗中金箔的厚度而言，每進來1035000個α粒子，大約會有一個α粒子被碰回來，而實驗中測得的結果卻大約為8000個中就有一個被碰回來，這就是說，α粒子大角度偏轉的概率遠大於湯姆遜模型所預測的。按照湯姆遜模型，無論是極輕的電子，還是均勻分布的正電荷，都不足以把α粒子反彈回去。盧瑟福為此苦思了很長時間，並深深感到α粒子的大角散射實驗說明湯姆遜的原子模型是錯誤的，真正的原子需要有一個新的模型。
偉大理論的誕生
1910年，盧瑟福開始把散射實驗事實與新的原子模型聯係起來。他想到了被人忽視的土星模型，如果原子中的正電物質是集中在很小的區域內，那麼對α粒子而言形成較“硬”的散射中心，也許能在一次的碰撞中使α粒子產生大角度的偏轉。
於是，他設想了一個原子結構模型：原子中有一個體積很小、質量很大、對正電荷有很強偏轉能力的核，核外則是一個很大的空間(相對於原子核直徑)，核的體積很小，但卻幾乎集中了原子的全部質量；電子很輕、很小，帶負電，它們分布在原子核外的空間裏結核運動，原子仿佛是一個小太陽係。
盧瑟福的這一偉大設想震驚了世界。
原子核就這樣被發現了，起初人們並沒有直接看到它，也沒有直接測出核的直徑，量出核的質量，判定核的電荷。隻是靠了α粒子的撞擊，從撞擊的效果得到了核存在的信息。盧瑟福並沒有停留在假想和猜測的水平上，他帶領助手們一次又一次地進一步實驗，從測量的數據可以準確地推算出核的直徑，核的質量和核的電荷。
盧瑟福就是這樣，用的是最簡陋的設備和直觀的方法，卻獲得了最寶貴的來自微觀世界的重要知識。他的核式結構為原子物理學和核物理學的發展奠定了最重要的基礎。