La finestra e' una popup quando l'oggetto opener esiste; la proprieta' closed di questo puo' essere usata per verificarne la presenza.
codice:
if (opener) {
     if ( ! opener.closed ) {
         opener.location.href="pagina.htm";
         setTimeout("window.close()",100);
     } else {
         window.open("pagina1.htm");
         setTimeout("window.close()",100);
     }
} else {
     location.href="pagina2.htm";
}
ciao