Umh... si potrebbe velocizzare la scansione del sito creando una copia in locale, ma se il db è molto dinamico non serve.

Oppure si può prevedere il parametro solo_link accettato da tutte le pagine php del sito.
Se questo parametro è settato in get a 1 produco la pagina normalmente, ma invece di inviarla all'utente invio solo i link che essa contiene. Così risparmio in banda durante l'operazione di grab del sito (ovviamente devo riscrivere software che crea la sitemap).

Che ne pensate? soluzioni più efficienti?