不管是在實驗方麵，還是在理論上，焦耳都是從分子動力學的立場出發進行深入研究的先驅者之一。
焦耳在從事這些研究的同時，並沒有停止對熱功當量的測量。1847年，焦耳做了迄今認為是設計思想最巧妙的實驗：他在量熱器裏裝了水，中間安上帶有葉片的轉軸，然後讓下降重物帶動葉片旋轉，由於葉片和水的摩擦，水和量熱器都變熱了。根據重物下落的高度，可以算出轉化的機械功；根據量熱器內水的升高的溫度，就可以計算水的內能的升高值。把兩數進行比較就可以求出熱功當量的準確值來。
焦耳還用鯨魚油代替水來作實驗，測得了熱功當量的平均值為423.9千克米/千卡。接著又用水銀來代替水，不斷改進實驗方法，直到1878年，這時距他開始進行這一工作將近四十年了，他已前後用各種方法進行了四百多次的實驗。他在1849年用摩擦使水變熱的方法所得的結果跟1878年的是相同的，即為423.9千克米/千卡。一個重要的物理常數的測定，能保持三十年而不作較大的更正，這在物理學史上也是極為罕見的事。這個值當時被大家公認為熱功當量J的值，它比現在J的公認值——427千克米/千卡約小0.7%。在當時的條件下，能做出這樣精確的實驗來，說明焦耳的實驗技能是多麼的高超啊！
但是，1847年，當焦耳在英國科學學會的會議上再次公布自己的研究成果時，他還是沒有得到支持，很多科學家都懷疑他的結論，認為各種形式的能之間的轉化是不可能的。直到1850年，其他一些科學家用不同的方法獲得了能量守恒定律和能量轉化定律，他們的結論和焦耳相同，這時焦耳的工作才得到承認。
憑借在物理學上作出的重要貢獻，焦耳於1850年成為英國皇家學會會員。當時他三十二歲。兩年後他接受了皇家勳章。許多外國科學院也給予他很高的榮譽。雖然焦耳不斷進行著他的實驗測量工作，遺憾的是，他的科學創造性，特別是在物理概念方麵的創造性，過早地就減少了。1875年，英國科學協會委托他更精確地測量熱功當量。他得到的結果是4.15，非常接近目前采用的值1卡＝4.184焦耳。1875年，焦耳的經濟狀況大不如前。這位曾經富有過卻沒有一定職位的人發現自己在經濟上處於困境，幸而他的朋友幫他弄到一筆每年200英鎊的養老金，使他得以維持中等但舒適的生活。五十五歲時，他的健康狀況惡化，研究工作減慢了。1878年當他六十歲時，焦耳發表了他的最後一篇論文。1878年，焦耳退休。
1889年10月11日，焦耳在索福特逝世，享年71歲。後人為了紀念焦耳，把功和能的單位定為焦耳。
1887年，焦耳曾經對他的弟弟說：“我一生隻做了兩三件事，沒有什麼值得炫耀的。”相信對於大多數物理學家，他們隻要能夠做到這些小事中的一件也就會很滿意了。焦耳的謙虛是非常真誠的。很可能，如果他知道人們在威斯敏斯特教堂為他建造了紀念碑，並以他的名字命名能量單位，他將會感到驚奇的，雖然後人決不會感到驚奇。