allora che layout hai utilizzato per la gestione dei due jpanel?

un grid suppongo

puoi "rimuovere tutto" con un removeAll() e riaggiungere sia il "pannelloPulsanti" che il pannello ioteressatoil, ricordando di dare un revalidate dopo averli richiamati.

prova così