Ciao, sto costruendo una piccola applicazione che analizza alcuni siti web e ora mi sto occupando di scrivere uno spider.

Trattandosi di una applz. usa e getta puo' anche essere rozzo e utilizzare un sacco di risorse, ma deve funzionare.

Mi serve un po' di teoria, pero', ecco perche' sono qui.

Secondo voi e' giusto procedere cosi':

1) mando lo spider sul sito
2) scarico tutto il sito, fin dove mi e' permesso (no sessioni, no cookie, no sever esterni)

a questo punto ho il sito sul mio HD.

quindi scorro tutte le directory e indicizzo le pagine, memorizzando le parole in un db con relative url...

funziona cosi' piu' o meno? dove trovo documentazione?