fai prima una select...

SELECT COUNT(*) FROM tabella WHERE USER = '$USER'

poi controlli quante righe ha contato:

se 0 fai l'insert, se 1 avvisi che gia' esiste il nick.