Certo che è possibile.

Per esempio da Windows Media Player nella sezione "Catalogo Multimediale" selezioni l'album che ti interessa e trascini l'immagine relativa alla copertina nel quadrato vuoto. In questo modo tutti gli Mp3 relativi a quell'album integreranno l'illustrazione.