prova semplicemente questi files

uno.htm
codice:
<script language="javascript">
var retValue = window.showModalDialog("due.htm", window, 'dialogHeight:200px; dialogTop:200px; dialogLeft: 200px; dialogWidth:200px; status:false;resizable:yes;help:no');	
alert(retValue)
</script>
e il secondo (due.htm)

codice:
<script language="javascript">
function btnOK_onclick() {
	window.returnValue = "CIAO"
	window.close();
}
</script>
<input type="button" id="btnOK" value="OK" onclick="btnOK_onclick()">
questo è il meccanismo base.. devi poi integrarlo nel tuo caso con i vari iframes, aspx e asp.