Mi sa che sei un po' confuso, leggi meglio la javadoc

Un conto è JFrame, un conto è JDialog.
Un'applicazione desktop avrà un singolo JFrame ed eventualmente N JDialog (e mi pare di capire che questa sia la tua situazione)

Ebbene, EXIT_ON_CLOSE è utilizzabile solo in JFrame (che è l'entry point della tua applicazione)

Se vuoi chiudere l'applicazione alla chiusura di una qualunque finestra allora devi implementare un WindowListener.
Vedi http://stackoverflow.com/questions/7...he-main-window

E con questo ti saluto, vado a grigliare