Narodil sa v roku 1858 v Paríži. V roku 1872 sa rozhodol stať sa inžinierom a v roku 1875 ukončil priemyselnú školu ako najlepší v ročníku. Začal štúdium na Polytechnickej vysokej škole v Mníchove a v roku 1880 ho ukončil ako najlepší študent od založenia školy.

27. februára 1892 prihlásil Diesel na patentovom úrade v Berlíne patent na „nový racionálny tepelný motor“.

V rokoch 1893 až 1897 bol motor vyvíjaný v strojárskej fabrike v Augsburgu za účasti firmy Friedricha Kruppa. Prvú praktickú skúšku vykonal Dieselov motor v roku 1897 s účinnosťou 26,2%.

1. januára 1898 bola založená Dieselová motorová fabrika v Augsburgu a v roku 1900 vznikla v Londýne Diesel Engine Company.

Dlhoročné patentové procesy podkopali Dieselovo zdravie aj ekonomiku. Okamihy jeho smrti nie sú dodnes známe. 29. septembra sa zúčastnil na palube parníka Dresden stretnutia spoločnosti Consolidated Diesel Manufacturing Ltd. Po večeri sa utiahol do svojej kajuty a nikdy viac ho už nik nevidel. Niekoľko týždňov neskôr videli námorníci mŕtvolu dobre oblečeného muža, ktorú však pre búrku nemohli vytiahnuť.