倫琴三歲那年全家遷往荷蘭的阿佩爾多恩，他就在那裏上小學和中學。倫琴學習成績一般，喜歡運動，動手能力強，有點淘氣。1865年，倫琴進入瑞士蘇黎世工業學院，攻讀機械工藝。1868年畢業，獲得機械工程學位。倫琴在蘇黎世相繼受到熱力學創始人克勞修斯和著名物理學家孔特（1839～1894）的影響，走上了物理學研究的道路。1869年在孔特的指導下，他寫出了第一篇物理學論文《氣體的研究》，獲得了蘇黎世工業學院理學博士學位。1875年以後，他任霍恩海姆農學院物理學教授、斯特拉斯堡大學理論物理學副教授等職。1879年任吉森大學物理學教授。1889年任維爾茨堡大學物理學教授和物理研究所所長，1894年任校長。1896年成為柏林科學院和慕尼黑科學院的通訊院士。同年英國倫敦皇家學院授予他倫福德獎章。1900年美國哥倫比亞大學授予他巴納德獎章。同年倫琴到慕尼黑大學就任物理學教授和物理研究所所長。
倫琴對物理學的最主要貢獻，是發現了X射線，又叫做倫琴射線。
早在1836年，法拉第就發現在稀薄氣體中放電會產生美麗的輝光。1876年德國物理學家哥爾德施泰因（1850～1931）正式稱這種放電是“陰極射線”。當時歐洲學術界對“陰極射線究竟是什麼”的問題展開了長期而激烈的爭論，倫琴也卷了進去，進行了係統的研究。1895年11月15日，倫琴準備用克魯克斯管作熒光實驗，為了排除外界對放電的影響和避免管內光線外漏：特地用黑紙板做了一個套子，把放電管套起來。然後他在暗室裏接通電源，檢查放電管有無漏光。檢查完畢，正要切斷電源的時候，突然發現一米遠的小實驗台上有閃光。倫琴立即進行檢查，查明這種閃光是從小實驗台上一個熒光屏發出來的。他顧不得吃飯，立即重複上述實驗，甚至把熒光屏放在兩米遠的地方還是能觀察到閃光。他確信這個現象絕不是陰極射線造成的，因為它隻能穿透幾厘米厚的空氣。他斷定存在著一種新的射線。
為了驗證自己的想法，年過半百的倫琴依靠他特有的毅力，吃、住在實驗室，一連做了七個星期的秘密實驗。試驗過各種各樣的材料，幾千頁的書，厚厚的玻璃板，二厘米厚的木板，幾厘米厚的硬橡膠……這種新射線都能穿透。有一次，當倫琴把手放到放電管和熒光屏之間的時候驚呆了：他在屏上看到自己的手完全變了樣，好像是拚湊起的幾根黑糊糊的幹樹枝。當倫琴清醒地知道這幹樹枝就是手指骨骼的時候，他激動得幾乎要跳起來。他立即回家把自己的發現告訴了妻子。據說當時妻子正在生他的氣，責怪這麼長時間不回家，說他有意編造“發現”騙她。於是倫琴把妻子帶到實驗室，請她幫忙做個實驗。他讓妻子把左手放到放電管前麵，然後把用紙包好的照相底片放在她的手後麵，過了十幾分鍾，把底片一衝洗，獲得了一張手骨的照片——世界上第一張人類活體骨骼的照片。妻子不解地問：“這是怎麼回事？”倫琴說：“這是一種穿透力很強的新射線作用的結果。”“這種新射線叫什麼名字？”
倫琴搖了搖頭回答說：“不知道，它是一個未知數，就叫它X射線吧。”
1895年12月28日，倫琴用《一種新的射線——初步報告》這個題目，向維爾茨堡物理學醫學協會作了報告，宣布他發現了X射線，闡述這種射線具有直線傳播、穿透力強、不隨磁場偏轉等性質。這一發現立即引起了強烈的反響。1896年1月4日柏林物理學會成立50周年紀念展覽會上展出X射線照片；1月5日維也納《新聞報》搶先作了報道；1月6日倫敦《每日紀事》向全世界發布消息，宣告發現X射線。這些宣傳，轟動了當時國際學術界，論文《初步報告》在三個月之內就印刷了五次，立即被譯成英、法、意、俄等國文字。一月中旬，倫琴應召到柏林皇宮，當著威廉皇帝和王公、大臣們的麵作了演示。X射線作為世紀之交的三大發現之一，引起了學術界極大的研究熱情，據統計，隻是1896年一年，世界各國發表的有關論文就有一千多篇，有關的小冊子達50種。
1896年3月，倫琴又發表了第二篇論文《一種新的射線（續篇）》。一年以後，發表了第三篇論文《關於X射線性質的進一步觀察》，深入探討了X射線的性質。倫琴的發現很快應用於醫學、工業以及科學研究等方麵。據說消息傳到美國的第四天，美國人就用X射線發現了留在傷員腿裏的子彈。
倫琴因為發現X射線，於1901年12月10日榮獲諾貝爾物理學獎，成為世界上第一個獲得諾貝爾獎的物理學家。倫琴對科學抱著老老實實的態度，為人謙虛，據說他把諾貝爾獎金全部捐獻給維爾茲堡大學。
倫琴因患腸癌，於1923年2月10日去世，終年78歲。為了永久紀念這位偉大的物理學家，德國人民在柏林市的波茨坦橋上豎立起倫琴的青銅塑像。國際學術界還作出決定，用“倫琴”來命名X或γ射線的照射量單位。