dovresti scriverlo così:

<form name="tuoform", action="tuapagina.jsp" target="popup">
............

window.open("","popup","toolbar=no, menubar=no");
document.tuoform.submit();