Leo Erb ha studiato alla Scuola di Arti Applicate di Kaiserslautern dal 1940 al 1943. Negli anni 1946-1947 ha frequentato l'Accademia d'Arte di Saarbrücken. I suoi principali insegnanti erano Boris Kleint e Johannes Itten. Lì Leo conobbe l'"educazione Bauhaus" e soprattutto l'analisi del colore del Bauhaus.

Negli anni 1948 e 1949 Leo Erb aprì il proprio studio nella sua città natale, St. Ingbert. Durante questo periodo ha anche creato i suoi primi tagli lineari, sculture e disegni al tratto.

Nel 1957 ha poi fondato il "New Saar Group" insieme al suo maestro Boris Kleint e ad altri giovani artisti del Saarland. Dal 1958 circa inizia i suoi strutturati "line painting" e "line reliefs", che espone a Düsseldorf nell'ambito della settima mostra serale "The red image" del gruppo ZERO.

Nel 1961 Leo Erb si trasferisce a Parigi, dove vive e lavora nel suo studio casalingo fino al 1975. Durante questo periodo sviluppa ulteriormente il suo lavoro e crea "oggetti luminosi lineari", "sculture solari" e oggetti cinetici.

Nel 1977 partecipa a Documenta 6 a Kassel. Nell'opera di Leo Erb, 'la linea' e il colore bianco in tutte le sfumature corrono come un filo rosso. Questo è il suo segno distintivo e riguarda il suo lavoro, come disegni, dipinti materici, rilievi, sculture, oggetti cinetici, oggetti leggeri e impronte di mani.

Nelle opere di Leo Erb torna spesso anche la grande dottrina Bauhaus, radicalizzata e focalizzata sui suoi elementi essenziali. Molti dei quadri e degli oggetti lineari di Leo Erb possono essere letti sia come piatti che come spaziali.