Invece di un JFrame puoi utilizzare un JDialog modale impostando a true l'attributo modal.