Prova cosi:
nella pagina A al submit metti un'ancora paginaB.xxx#pop e nella pagina B
<script type="text/javascript">
function chiudifin(miapu) {
window.open('','miapu').close();
}
onload=function(){if(location.hash == 'pop')chiudifin('miapu');}
</script>
e torgli l'onload dal body, se con l'ancora hai problemi prova in queystring dalla pagina A alla pagina B ?pop=open