guarda.... cerca guide qui su html.it ... cmq ... dovresti usare un paio di eventi ..
per renderla modale dovrebbe bastare qualcosa di simile :
codice:
<script>
function getFocus(){
 var owner = ..... //(window .. o document prova un po)
 owner.focus();
}
</script>


[..]onblur="getFocus()"[..]

per renderla modale solo rispetto a chi ha aperto
dovresti .. verificare sull'onfocus dell'opener se il popup è ancora aperto o meno. Non so quale sia il metodo più comodo ma potrsti usare un campo nascosto sull'opener che viene valorizzato a true all'apertura del popup e a false appena prima del close() così da avere lo satato sempre presente.
A questo punto l'opener sull'onfocus .. se presente il popup rilancia l'evento alla finestrella e la mantiene in primo pian0o...

prova se regge..