1871年8月30日，盧琴福出生於新西蘭納爾遜附近的泉林村，父親是農民和工匠，母親是鄉村教師。他在小學就對科學實驗產生了濃厚的興趣。因為成績優異，學習期間曾獲一係列獎學金。1894年從坎特布雷學院畢業時，以該校空前的物理和數學第一名的成績獲碩士學位，還由於在無線電實驗研究方麵的突出成績而獲理學學士學位。畢業後，留校工作一年，1895年考取大英博覽會獎學金，到英國劍橋大學卡文迪許實驗室學習。
1896年春末，盧瑟福接受卡文迪許實驗室主任湯姆生的建議，把研究方向從無線電轉移到放射性上。1897年，盧瑟福用強磁場作用於鐳發出的射線時發現，射線可以被分成幾個組成部分。他把偏轉幅度小的帶正電的部分叫a射線，把偏轉幅度大的帶負電的部分叫β射線，同時他還根據實驗預言，可能存在一種在磁場中不偏轉，穿透能力更強的射線，這就是後來發現的並由他命名的γ射線。
1898年，盧瑟福在卡文迪許實驗室研究生畢業後，由湯姆生舉薦，到加拿大的麥吉爾大學任物理學教授。在教學之餘，他繼續研究放射性，與來自英國的青年化學家索迪合作，於1902年首先發現了放射性元素的半衰期，提出放射性是元素自發衰變現象，通過放射性和光譜實驗結果指出原子有一個很複雜的結構。1905年，他應用放射性元素的含量及其半衰期，計算出太陽的壽命約為50億年，開創了用放射性元素半衰期計算礦石、古物和天體年齡的先河。
在放射性研究上取得的一係列重大成果，使盧瑟福聞名於世。由於英國曼徹斯特大學有設備先進的實驗室和優越的科研條件，他於1907年謝絕了一些著名大學的高薪聘請，而出任該校物理學教授。盧瑟福對α、β、γ射線作了大量的研究。1908年，他測算出β射線的電荷，1913年，他提出α粒子的帶電量為2e，原子量為3.84，認為α粒子失去電荷後應變成氦原子，1913-1914年，他與人合作，測定γ射線的性質和波長，最終確認γ射線是一種比X射線頻率更高的電磁輻射。
盧瑟福早就有用α射線探索原子結構的想法。早在1903年他就發現α射線的能量比β和γ射線大99倍左右，1906年他又發現α射線通過雲母片時，出現了偏轉2°的小角度散射現象。1908年6月，蓋革發現α射線的散射角與靶材料的原子量成正比，同年10月，布拉格寫信給盧瑟福，告訴他用α粒子轟擊原子時發生α粒子急轉彎的現象。這些現象促使他和蓋革決定用重金屬靶進行散射實驗。1909年3月，盧瑟福向正在實驗的馬斯登提出“看一看你是否能夠得到從金屬表麵直接反射α粒子的效應？”結果，馬斯登發現了等於和大於90°的大角度散射現象。1911年，盧瑟福受“大宇宙與小宇宙相似”的啟發，把太陽係和原子結構進行類比，提出了一個原子模型，即盧瑟福原子模型。他覺得，原子像一個小太陽係，每個原子都有一個極小的核，核的直徑在10~12厘米左右，這個核幾乎集中了原子的全部質量，並帶有單位個正電荷，原子核外有電子繞核旋轉，所以一般情況下，原子顯中性。1912年，蓋革和馬斯登用實驗證明了帶正電的原子核的存在。1913年莫塞萊用元素特征譜線與原子序數的關係證實了核外電子環的存在。
1918年，繼湯姆生之後，盧瑟福擔任了卡文迪許實驗室領導，將卡文迪許實驗室發展到一個新的高峰。不但把物質微觀結構的研究推向嶄新的階段，同時還培養出了許多青年科學家。
盧瑟福是20世紀初最偉大的實驗物理學家，他於1908年榮獲諾貝爾化學獎。他一生發表論文約215篇，著作6種，培養了10位諾貝爾獎獲得者。1937年10月19日，因腸阻塞並發症逝世，葬於倫敦威斯敏斯特大教堂牛頓墓旁。