Quando fai un confronto tra oggetti lui confronta se sono lo stesso tipo di oggetto e quindi restituisce sempre TRUE.
Quindi o fai un confronto con il contenuto dell'oggetto oppure se vuoi fare le cose per bene usa l'interfaccia IEqualityComparer, ma potrebbe essere un pò complessa da capire se si è agli inizi.