Beh per evitare di scorrere l'intera tabella per cercare valori duplicati, puoi fare una query con DISTINCT per cercare solo i valori unici. Non hai riportato la query quindi non posso scendere nel dettaglio.