GoodWeb

Mi sapreste indicare la modalità per ricercare i link presenti nel sito.
Vorrei inserire una funzione che mi generi il fatidico file sitemap.xlm.
In merito alla struttura del file XML e altro np.

Non riesco a capire come posso fare per leggere tutti i linl e i soli link autorizzati (evitando eventualmente quelli inseriti nel file roboot.txt)

Grazie