all'onsubmit del form potresti aprire la popup richiamando la pagina per il controllo col nick in querystring così
codice:
<form onsubmit="window.open('controllonick.asp?nick='+this.NomeTextNick.value,'pp','width=300,height=200');return false">
nella popup fai il controllo e se il nick è già presente fai apparire una scritta per comunicarlo all'utente. Se il nick non è presente puoi inviare il form nella finestra madre e chiudere il popup così
codice:
window.opener.document.NomeForm.submit();
self.close()