Chiama il metodo dispose(); sulla finestra che vuoi chiudere:

finestra.setVisible(false);
finestra.dispose();

Ciao !