aspetta.. tu hai creato una pop-up vera o ne hai fatta una "finta" con un rettangolo disegnato in un livello sopra tutto?

perché nel primo caso va bene il js che chiude la pagina, nel secondo caso ti basta dare un nome istanza al movieclip che contiene la tua "pop-up" e assegnare alla pressione sul bottone di chiusura un

on(release){
_root.nomeistanzapopup._visible=0;
}

e il gioco è fatto