In MySQL usa SUBSTRING() per estrarre la prima lettera della città (se non hai predisposto un campo appositamente).

Poi puoi eseguire un semplice ORDER BY per ordinare i risultati.

Se vuoi far apparire le città in un ordine tipo U.. V... Z... A... B... C..., puoi usare IF() e ASCII() per ottenere un valore numerico adatta all'ordinamento.