Scusa la domanda, ma al posto di continuare a inserire e rimuovere dei JPanel perchè non usi un CardLayout che ti da la possibilità di visualizzare diversi JPanel a seconda di quale JButton premi??

Ciao.