SELECT * FROM tabella WHERE nomeCampo LIKE 'A%'

qundi avrai assegnato ad ogni lettera il valore stesso (link o pulsante che sia) da utilizzare poi nella query.

like '%A%' = che contiene a
like 'A%' = che inizia per a
like '%A' = che finisce per a


RIPRENDO QUESTO NN AVEVO PENSATO ALLA PAGINAZIONE

basta fare :

SELECT * FROM tabella WHERE nomeCampo LIKE 'A%' LIMIT 20 (20 record per esempio)

per i primi 20 oppure:

SELECT * FROM tabella WHERE nomeCampo LIKE 'A%' LIMIT 0,20

per prenderne venti dal record N°0 fino al numero 20. Ovviamente in base al progetto ti devi costruire la paginazione.