No, non è corretto, infatti.
Intanto: idea non molto buona quella di denominare una tua classe con lo stesso nome di una classe (anzi interfaccia) del framework, cioè Map.
Comunque quando si rimuovono e/o aggiungono componenti in un contenitore, la prima questione importante è se tale contenitore ha un layout manager oppure no. Se ce l'ha, il layout manager va rivalidato e in genere basta un validate() sul contenitore, perlomeno con i layout manager più semplici. Se non ce l'ha, dovrebbe bastare un repaint().