Sopra ti avevo inavvertitamente detto dispose(), ma in realta quest'ultimo metodo funziona per Frame e Dialog, non per Panel. Mi pare che il max che puoi ottenere sia rimuovere il pannello dal frame con
codice:
tuoFrame.remove(tuoPannello);
praticamente il metodo opposto di add.
Volendo poi puoi settare la variabile a null per far rimuovere l'oggetto dal garbage collector, ma almeno che tu non abbia esigenze particolari, mi fermerei a remove. Tanto il reference lo perdi comunque quando mostri un altro pannello.