Cosi non va bene perche lo stai castando a Boolean(che è un oggetto non un tipo primitivo). Controlla sembre quello che viene restituito al browser per vedere se c'è qualche errore nella codice java. Ti basta controllare il sorgente della pagina(tasto destro->html).

Per sicurezza prova a dividere le 2 parti, poi al massimo si sistema, fai cosi:

codice:
<script>
<%if(((Boolean) session.getAttribute("popup")).booleanValue()){%>
autoOpen = true;
<%}else{%>
autoOpen = false;
<%}%>

$( "#dialog-confirm" ).dialog({
 resizable: false,
 modal: true,
 autoOpen: autoOpen,
 buttons: {
 "Ok": function() {
 $("div#menu_navigazione").css("display","block");
 $('#overlay').fadeOut('fast');
 $( this ).dialog( "close" );
 }
 }
 });
</script>