si infatti con il metodo System.exit(0); chiudi l'intero programma se vuoi chiudere o comunque non vedere una singola finestra devi utilizzare il metodo setvisible(False); come dice unomichisiada

per quanto riguarda la veste grafica non saprei, che librerie hai utilizzato, io uso solitamente le swing.