Eduard Charlemont nació en Viena, capital del Imperio austríaco, en 1848. Su padre, Matthias Adolf Charlemont, también fue pintor, especializado en retratos en miniatura.

Su hermano menor Hugo Charlemont (1850-1939) fue un pintor impresionista igualmente famoso. A los quince años Charlemont expuso sus obras por primera vez en la Academia de Bellas Artes de Viena, donde estudió bellas artes. A la misma edad, Eduard Charlemont también fue contratado por una escuela de niñas para enseñar dibujo.

Después de graduarse en la Academia de Bellas Artes de Viena, Charlemont viajó a muchos países de Europa central y finalmente se instaló en París, donde vivió durante los siguientes treinta años.

En París, ganó varias veces el primer premio del Salón de París, exposición anual celebrada por la Academia Francesa de Bellas Artes (en francés: Académie des Beaux-Arts).

La obra más famosa de Charlemont es El guardián del serrallo, ampliamente conocida como El jefe moro, que representa a un espadachín moro custodiando un serrallo (parte de una típica villa árabe rica, donde se alojaban las mujeres cuando los extraños entraban en la casa).

En 1899 ganó la medalla de oro en la Exposición Universal, una exposición mundial celebrada en París. Charlemont también era conocido por sus murales. Pintó tres de los murales del Burgtheater (el Teatro Nacional de Austria en Viena y uno de los teatros en lengua alemana más importantes del mundo) con una longitud total de unos 55 metros.

Murió en Viena en 1906.