Per verificare se una finestra con un determinato nome esiste occorre fare due passaggi... riaprirla vuota e verificarne il contenuto.

win = window.open("","nomeFinestra");
if (win.location.href==""||win.location.href=="about: blank") {
win.location.href="pagina.htm"
}

Se la finestra e' aperta e contiene una pagina di un altro dominio ricevi un errore... per evitarlo occorre complicare lo script (o usare nomi impossibili per la finesta )

ciao