Forse ho capito cosa vuoi fare: tu vuoi che il form venga spedito non nella pagina corrente ma nella popup, giusto?

Se è così allora prova questo codice:

<html>

<head>
<script language="javascript" type="text/javascript">

function popupWindow() {

if (document.newEmail.email.value == "")
{
alert("Inserisci un indirizzo email")
return false;
}
if ((document.newEmail.email.value.indexOf("@") == -1 ) && (document.newEmail.email.value !== "")) {
alert("Indirizzo e-mail non valido !")
return false;
}
var r;
r=window.open("","nuova"," height=420,width=400,left=100,top=200,scrollbars=0 ");
r.focus();
document.newEmail.submit();
}




</script>
</head>

<body>

<form method="POST" name="newEmail" action="nuova_email.asp" target="nuova">


<input type="text" name="email" size="20">
<input type="button" onClick="popupWindow()" value="Invia" name="B1"></p>
</form>

</body>

</html>



L'onClick è sul button non sul form.
Se la sintassi dell'email è corretta ti si apre una popup vuota, dopodichè verrà fatto il submit del form che ha come target la popup che è stata creata precedentemente.

Fammi sapere se funziona