Ritrovi i doppioni anche nell'HashSet perchè per java sono due istanze diverse dell'oggetto, quindi anche se tutti e due rappresentano il colore rosso vengono visti come 2 oggetti distinti.

Doresti ciclare la lista e cscartare i Colore duplicati.