La logica è molto semplice.
Tu invii username e password dal tuo form.

Una volta che li hai recuperati fai una query sul database del tipo

select nomeutente,password from tabella where username = '$username' and password = '$password';

a questo punto usi la funzione mysql_num_rows()
$righe = mysql_num_rows(della tua query)
e fai un if in base al valore contenuto in $righe.
Se è pari a 0 vuol dire che non è presenti e quindi lo inserisci con la tua query di insert.
Se è > 0 (e quindi è uguale a 1) vuol dire che esiste già e quindi stampi un messaggio e magari un link verso il form.