ok questa la query
come sopra ma scritta meglio

codice:
<?php

$sql = mysql_query("select substr(nome_provincia,1,1) as lettera from anagrafica_province2012 group by substr(nome_provincia,1,1)");
while($row = mysql_fetch_array($sql)){

	echo ''.$row['lettera'].'
';

	$sqlProvince = mysql_query("select * from anagrafica_province2012 WHERE substr(nome_provincia,1,1) = '$row[lettera]'");
	while($rowProvince = mysql_fetch_array($sqlProvince)){
	echo $rowProvince['nome_provincia'].'
';
	}


}
?>

questo il risultato

codice:
A
Avellino
Ancona
Ascoli Piceno
Alessandria
Asti
Agrigento
Arezzo
B
Benevento
Bologna
Bergamo
Brescia
Biella
Bari
Barletta-Andria-Trani
Brindisi
Bolzano/Bozen
Belluno
C
Chieti
Catanzaro
Cosenza
Crotone
Caserta
Como
Cremona
Campobasso
Cuneo
Cagliari
Carbonia-Iglesias
Caltanissetta
Catania
E
Enna
F
Ferrara
ForlÂ-Cesena
Frosinone
Fermo
Foggia
Firenze
G
Gorizia
Genova
Grosseto
I
Imperia
Isernia
L
L'Aquila
Latina
La Spezia
Lecco
Lodi
Lecce
Livorno
Lucca
M
Matera
Modena
Mantova
Milano
Monza e della Brianza
Macerata
Medio Campidano
Messina
Massa-Carrara
N
Napoli
Novara
Nuoro
O
Ogliastra
Olbia-Tempio
Oristano
P
Pescara
Potenza
Parma
Piacenza
Pordenone
Pavia
Pesaro e Urbino
Palermo
Pisa
Pistoia
Prato
Perugia
Padova
R
Reggio di Calabria
Ravenna
Reggio nell'Emilia
Rimini
Rieti
Roma
Ragusa
Rovigo
S
Salerno
Savona
Sondrio
Sassari
Siracusa
Siena
T
Teramo
Trieste
Torino
Taranto
Trapani
Trento
Terni
Treviso
U
Udine
V
Vibo Valentia
Viterbo
Varese
Verbano-Cusio-Ossola
Vercelli
Valle d'Aosta
Venezia
Verona
Vicenza

ora adatta i campi e l'output a quel che ti serve !!!

lascia perdere il verificare il record precedente e variabili da memorizzare che caricano il server senza motivo !! oltre che renderti la vita complicata