Come create le sitemap dei siti dinamici con url rewriting?

[gik25]

Ci vuole un sacco di tempo, perchè non serve a nulla leggere i file via ftp, ma si deve scadire tutti il sito... Non c'è un metodo più rapido?

[Trimball]

Se trovate la soluzione ditemelo, perchè io lo faccio a manina..

[gik25]

Umh... si potrebbe velocizzare la scansione del sito creando una copia in locale, ma se il db è molto dinamico non serve.

Oppure si può prevedere il parametro solo_link accettato da tutte le pagine php del sito.
Se questo parametro è settato in get a 1 produco la pagina normalmente, ma invece di inviarla all'utente invio solo i link che essa contiene. Così risparmio in banda durante l'operazione di grab del sito (ovviamente devo riscrivere software che crea la sitemap).

Che ne pensate? soluzioni più efficienti?

[CiodoF]

Beh ... vi consiglio di utilizzare un CMS. Fa già tutto lui ...

[CiodoF]

Diemnticavo ... in alternativa scandire tutto il sito, intercettare gli href interni al sito, e "riconvertire" gli url.

Si puà fare con uno script il asp con un db di appoggio.

[gik25]

Come interecetti gli href? Intendi dire:

Controllo con script server side quali sono i file .php, eseguo il loro codice con una eval e leggo cosa restituirebbero, estraggo gli href e ottengo la lista di tutti i file del sito.

Intendi una cosa del genere?

[CiodoF]

NO, ti crei uno script che naviga le pagine come se fosse un motore di ricerca (quindi vede la pagine in modo "html"), e "scnanerizzi"/"scandisci" il codice html.

[gik25]

[supersaibal]Originariamente inviato da CiodoF
NO, ti crei uno script che naviga le pagine come se fosse un motore di ricerca (quindi vede la pagine in modo "html"), e "scnanerizzi"/"scandisci" il codice html. [/supersaibal]

Ce l'ho già, ma non mi soddisfa va sempre in timeout e devo rieseguirlo 500.000 volte senza contare che succhia banda...

PS: un grab di 2000 pagine è fastidioso per un server come aruba?

[Evearts]

usate prodotti come Xenu..

[robaldo]

e usare la google sitemap?