In teoria se hai ridefinito correttamente il metodo equals all'interno di Colore non ti serve altro...

Stando alla documentazione di Set (implementata da HashSet):

A collection that contains no duplicate elements. More formally, sets contain no pair of elements e1 and e2 such that e1.equals(e2), and at most one null element.