codice:
$nick="scassa";
//metto in array l'intero file
$file_in_vet = file($filename);
//eseguo il test 

if(in_array($nick,$file_in_vet)){
echo "User già esistente!";
}
else {

$apri = fopen ($filename,"a+");
fputs($apri, $nick);
fputs($apri, "$nick\n");
fclose($apri);
echo "User accettato!";

}
ps:
presupposto perchè il codice funzioni è che
le voci, nel file, siano disposte separatamente ognuna su una riga.
...scusa se mi permetto ma..nn credi ti convenga usare un db?
avresti sicuramente una gestione un controllo per nn parlare di sicurezza nettamente superiori!