scusate subito un nuovo problema allora io seguendo il consiglio di andbin ad ogni click sul pulsante effettuo questa operazione

codice:
panelUsers.add(listPanel.get(counterPanel), new GridConstraints(0, counterPanel, 1, 1, 0.0, 0.0, GridBagConstraints.CENTER, GridBagConstraints.NONE, new Insets(0, 0, 0, 0), 0, 0));
se vorrei mette un pulsante per eliminare questi pannelli allo statto modo di come li inserisco come posso fare

panelUser.remove(Componente c)

ma il componente esatto come lo trovo


GRazie