Dimentica la storia del HashSet. In effetti ragionandoci "a freddo" non può funzionare. Non va bene quando l'oggetto ha dello stato che non viene usato per definire la "identità" dell'oggetto tramite equals().

Rimane la strada della HashMap.