1911年，盧瑟福將太陽係和原子結構進行類比，提出了原子模型。他認為，原子像一個小太陽係，每個原子都有一個極小的核，核的直徑在10-12厘米左右，這個核幾乎集中了原子的全部質量，並帶有正電荷，原子核外有幾個電子繞核旋轉，所以一般情況下，原子顯中性。盧瑟福發現了原子核以後，進一步用各種金屬做粒子散射實驗，發現不同的金屬對粒子的散射能力不同，散射能力越強，證明核帶的正電荷越多，因而斥力也就越大。1913年，盧瑟福的學生和助手莫斯萊，在盧瑟福指導下，證明各種不同元素原子核所帶的電荷數，正好等於它們的原子序數。盧瑟福的原子模型，成功地解釋了許多物理化學現象，但後來的研究發現，它有很大的局限性。他的學生、丹麥物理學家尼爾森·玻爾，綜合了普郎克的量子論、愛因斯坦的光子論，在盧瑟福原子模型的基礎上，提出了原子的玻爾模型，這個模型比盧瑟福模型有很大改進，但它是經典力學與量子論相結合的產物，故隨著科學的發展，出現了很多不符合實際的情況，所以後來被量子力學模型所取代。
盧瑟福在核化學方麵做出過傑出的貢獻。他用粒子散射研究原子核時，發現對於氫元素來說，往往出現反常現象。他當時認為，可能是因為氫核的核電荷少斥力小，高速粒子有可能克服斥力，打到氫核裏麵去，因而出現反常。後來他就按著這個想法深入進行研究。盧瑟福首先選用最強的放射源，當時叫鐳C‘，實際上是204Po，對氫元素進行轟擊。1919年，他在用粒子轟擊氮時，發現產生出一種新的、射程很長、質量更小的粒子，經研究證明，這種粒子是氫的原子核。盧瑟福把他發現的這種粒子命名為“質子”。在這一實驗中，他不僅發現了質子，還實現了人類曆史上第一個核反應：14N＋4He17O＋1H。
接著他又發現，硼、氟、鈉、鋁、磷等元素都能發生核反應，在核反應時，一種元素可以變成另一種元素。1920年，盧瑟福又提出了中子假說，他認為原子核中，質子可能與電子緊密地結合，形成一種不帶電的粒子，即中子。他推測，因為中子周圍不形成電場，所以當它通過氣體時，應不產生離子。它不受電場作用力的影響，所以，穿透力會很強，隻有當它與原子核發生正麵碰撞時，才會轉折。而被碰撞的核，因為得到一定的動能，可能以一定的速度射出。
1932年，查德威克證實了盧瑟福關於中子的預言，他用粒子轟擊鈹元素而得到中子：9Be＋4He12C＋1n。
盧瑟福為人正直，熱衷科學，不畏權貴，他還是一個偉大的教育家，為人類培養了許多一流的專家，如玻爾、莫斯萊等。他逝世以後，每年人們都在10月19日為他進行悼念活動。