E' semplicissimo. Metti di avere tante immagini (col nome delle lettere) per quante lettere disponi nel menu, magari con estensione .gif (ma non è necessario, va bene qualsiasi altro formato) nella cartella images, ad esempio, devi solo modificare l'output prodotto al foreach per il menu:

Codice PHP:
//stampa il menù dell'elenco alfabetico completo
foreach(range('A', 'Z') as $l) echo "<a href=\"?l=$l\"><img src=\"images/$l.gif\" alt=\"$l\" /></a> ";