Secondo un libro che ho letto sì, ha importanza, soprattutto con tabelle InnoDB, perchè le pagine coi dati sono ordinate rispetto alla chiave primaria obbligatoria, che determina anche l'accesso agli indici secondari