Ho usato questo costruttore mettendo come owner la JFrame:

new JDialog(mioJFrame,true)

Non mi da errorie la JDialog appare,ma non è modale!

Come mai?