Si, è normale.
Al JPanel, applica un:
codice:
panel.repaint();
panel.validate();
..volendo, potresti rimuoverla prima, tramite removeAll().