prova cosi'

variabile globale settata a false
se onsubmit la variabile e' falsa -> apri la popup e ritorna false (in pratica non inviare il form)
nel documento in popup (in cui suppongo non ci si attenda alcun tipo di navigazione)
codice:
window.onunload=function(){if(window.opener && !window.opener.closed){window.opener.variabileGlobale=true;window.opener.document.nomeForm.submit()}}