Codice PHP:
 // esegui la query verifcando se il nome esiste
$query = "select user from nick where nick = '$nick' ";
$res = mysql_qeury($query) or die ("query controllo nick non riuscita: " .mysql_error());
// conta quante righe contiene il resulset
$conta = mysql_num_rows($res);
// controlla se le righe sono più di zero. In caso positivo segnala l'errore
if ($conta > 0) {
echo " <script language='Javascript'>
alert('Esiste già un utente registrato con questo nome')
location.href = 'index.html'
</script>
";
exit;
} 
Prova un po', non ho verificato, magari c'è qualche errore di sintassi