Originariamente inviato da azocomposto
ciao, sto cercando uno script in asp che funga da crawler/spider, cioè che vada in giro per la rete a indicizzare siti internet.
Questo è possibile in asp? oppure ne esistono solo in php?
Io ne ho fatto uno in VBScript su file con estenzione .vbs. Indicizza un intero sito partendo dalla URL di base catalogando pagine HTML e file DOC. Volevo aggiungere i file Excel e PDF, ma mi sono fermato.
Devo riprenderlo sottomano. Usa l'oggetto XMLHTTP e RegExp e un db con due tabella dove salvare i dati.