Prendi con le pinze quello che ti dico perchè non sono un esperto, tuttavia credo che sicuramente ci metta di più su un DB grande che su uno piccolo e che inoltre dipenda dal tipo di database che usi (es. InnoDB, MyISAM etc.).
Inoltre penso che mettere un LIMIT 1 alla fine possa velocizzare la cosa