Sì... per far sì che un pulsante chiuda un JFrame, senza chiudere tutta l'applicazione si può agire in diversi modi: si può usare setDefautCloseOperation() impostandolo per la chiusura della finestra e non dell'applicazione, oppure si può agire semplicemente sui metodi di JFrame.
Questo esempio agisce sui metodi su JFrame: il metodo dispose() chiude la finestra corrente, senza chiudere l'appilcazione:
codice:
JButton jbAnnulla = new JButton("Annulla");
jbAnnulla.addActionListener( new ActionListener() {
   public void actionPerformed(ActionEvent ae) {
      chiudiFrame();
   }
});

...

private void chiudiFrame() {
   dispose();
}
Questo codice, invece, può essere utilizzato per impostare lo stesso effetto quando l'utente clicca sulla X della finestra:
codice:
setDefaultCloseOperation(JFrame.DISPOSE_ON_CLOSE);
Ciao.