經費問題解決後，狄塞爾幹勁倍增，1893年，他製成了第一台使用柴油的發動機，一般稱之為柴油機。但是，這台柴油機在試驗時卻沒有成功。據說，當時在場觀看的人很多；他們懷著各種心態，注視著狄塞爾的試驗操作。試驗開始時，機器運轉得還比較正常。可是，就在往汽缸裏噴人燃料的瞬間，突然發生了爆炸。隨著一聲巨響，安裝在汽缸蓋上的測功指示器被炸飛了，一股濃煙從排氣管內噴射出來，火花向四處飛濺。人們見到這種情景，嚇得紛紛逃跑了。
第一次試驗失敗後，各種各樣的議論接踵而來。除了冷嘲熱諷之外，還有人對狄塞爾的設計是否合理表示懷疑。麵對著失敗帶來的沉重打擊，狄塞爾並沒有灰心喪氣。他鎮靜地總結經驗教訓，尤其是仔細檢查機器結構和操作過程，以便發現問題，找到解決辦法。狄塞爾認為，這次試驗雖然總的說來沒有成功，但是其中也有成功的地方。例如，通過試驗證明，將燃料噴入高壓空氣中是能夠自動著火的。這一點特別重要，因為它符合狄塞爾設計時所依據的原理。於是，狄塞爾的信心反而進一步增強了。
狄塞爾針對發現的問題，繼續進行研究和改進。經過7個月的辛勤勞動，1894年2月，他又製成了一台柴油發動機。這台柴油機在試驗時實現了運轉，可是運轉的時間很短，僅僅有1分鍾，就停了下來。故障在哪裏呢?經過檢查發現，原因在於汽缸內承受的壓力太大，使汽缸內壁產生了裂痕。這次試驗雖然仍未完全成功，但是同第一次試驗比較起來，顯然是前進了一大步。
狄塞爾毫不氣餒，鼓起幹勁繼續進行研究和改進。針對汽缸出現的問題，他取消了原來設計的等溫燃燒過程，采用水冷式汽缸，並且適當降低了壓縮空氣的壓力。這次重新設計和改製的柴油機，又花費了長達三年的時間，直到1897年，才算最後完成。
這是何等勞累的三年啊。狄塞爾在這次研製工作中，特別慎重。他根據前兩次試驗失敗中獲得的教訓，重新審視了自己原來提出的理論和設計，經過反複推敲，毅然拋棄了不正確的部分。同時，他還把科學技術發展中出現的新知識，特別是有關內燃機方麵的技術知識吸收進來。正因為如此，狄塞爾的內燃機理論，在幾年的研製過程中進行了不斷的修改，也就更為完善了。
當然，在新型柴油機製造過程中，狄塞爾還遇到了經費不足、材料缺乏和技術跟不上等困難。但所有這些困難，他都以頑強的精神一個個地克服了。他的研製工作，一直是在奧格斯堡機器製造廠進行的。除了奧格斯堡機器製造廠對他的支持外，他還得到了克虜伯公司在財力上的援助。應當承認，這些也都是狄塞爾獲得成功的條件。
狄塞爾研製的柴油發動機，在1897年正式誕生了。它運轉時輸出的功率，起初為18馬力，後來達到25馬力。柴油機的熱能損耗較少，使用時效率可以達到38％，超過了其他熱力發動機的效率。1898年，在慕尼黑舉行的國際展覽會上，狄塞爾發明的新式柴油機首次公開展出，得到人們的普遍讚揚。由於柴油機與狄塞爾的名字是緊密聯係在一起的，因此人們也將他的柴油機稱為“狄塞爾機”。