Se la tabella è grande e c'è un indice può tardare anche di più.
La tua ha uno o più indici? Quante righe contiene?