Per quanto riguarda la visualizzazione di un insieme di lettere ti dò la mia idea (la scrivo al volo, quindi correggi eventuali errori):
Codice PHP:
$lettere = array("a""b""c","d""e","f""g","h""i","j""k","l""m","n""o","p""q","r""s","t""u","v""w","x""y","z");
for(
$i=0;$i<count($lettere);$i++)  // ho messo il count così anche se aggiungi numeri o altri caratteri particolari all'array non devi stare a modificare il ciclo
{
  echo 
"<a href=\"pagina.php?lettera=";
  echo 
$lettere[$i];
  echo 
"\">" $lettere[$i] . "</a> ";

Per quanto riguarda invece gli artisti, i nomi da dove li prendi? Da db?
Se si, basta una query tipo (ipotizzando nomi e campi)

SELECT * FROM artisti WHERE nome = '$lettera%' (la variabile $lettera altro non è che quella che recuperi tramite $_GET.