close lo dovresti chiamare sul nome della pagina da chiudere.

Metti caso che hai aperto la popup con
codice:
window.open('http://www.google.com','google','');
La popup in questione si chiamerà "google", secondo argomento della funzione open... per chiuderla ti basta fare
codice:
onUnload="window.open('','google','').close();"
Ciao.