Secondo me dovresti usare l'evento OnSubmit di javascript con una funzione che apre una popup.
Non so tuttavia come si comporti in quel caso l'invio dei dati dal form.
Esempio di una funzione per aprire una popup,l'ultimo parametro di window.open prende i dati di formattazione della finestra.
codice:
function open_popup(page,titolo,larg,alt){
var mywin=window.open(page,titolo,'width='+larg+',height='+alt+',scrollbars=no,resizable=no');
mywin.opener=window;
}
E poi nel form
codice:
<FORM action="url.htm" onSubmit="open_popup('url.htm','titolo finestra',500,500);" >