Testare la estensione dei file è quello che si fa normalmente/tipicamente. Non è quello il problema maggiore.
Nel caso di directory con un numero elevatissimo di file, sì, può essere un problema di performance se si usano i metodi di lista di java.io.File. Ma esiste la API NIO che offre altri modi più performanti per scansionare directory. Vedi sul tutorial ufficiale.