Come ti è stato detto è un po strano.Hai gestito l'uscita dal jframe principale con la x?Guarda questo 3dOriginariamente inviato da NightlyBlue
Quando si ha a che fare con errori tipo java.lang.OutOfMemory è possibile allocare più memoria al comando java (anche se ciò ovviamente immagino non può portare più di un contributo lineare)?
Quando si ha a che fare con matrici tridimensionali capita spesso.