Non so se è tanto o poco. A dire il vero credevo ti riferissi ai tempi di accesso alla mappa.
Difficile dare una risposta univoca: dipende da che design hai adottato.
In linea di massima potresti utilizzare un reference, all'interno di una specifica classe, legato all'elemento della mappa che ti serve. Però non devi rimuovere elementi o quel reference lo perdi per strada.
Francamente non ho idea di come funzioni un engine grafico, ma ho l'impressione che quando inizi l'esecuzione si trovi tutto già precaricato in modo da perdere meno tempo possibile. Quindi nel tuo caso dovrai precaricare quelle 100/200 texture che devi usare.