Ho fatto come dici ma mi chiude comunque anche la finestra iniziale.
Ti lascio il codice della mia JDialog. Il metodo start è quello che viene invicato dal bottone della finestra principlale (di cui non credo serva che posto il codice):

public class Dialog extends JDialog {

/**
* Launch the application
* @param args
*/
public static void start() {
try {
Dialog dialog = new Dialog();
dialog.addWindowListener(new WindowAdapter() {
public void windowClosing(WindowEvent e) {
//System.exit(0);
}
});
dialog.setVisible(true);
} catch (Exception e) {
e.printStackTrace();
}
}

/**
* Create the dialog
*/
public Dialog() {
super();
setDefaultCloseOperation(WindowConstants.DISPOSE_O N_CLOSE);
setBounds(100, 100, 500, 375);
//
}

}