Potresti usare le Collection, invece degli Array così puoi cercare l'elemento in base al suo valore, invece che scorrere tutto l'array ogni volta da cima a fondo.

Alla fin fine credo che quello che ti interessi sia fare la ricerca su entrambi gli insiemi.
O no?