Web Crawler Open Source

[kk2000]

Salve

segnalo a tutti il rilascio del codice del web crawler di Archive.org sotto licenza LGPL.

Tutti possono vedere il sorgente e modificarlo, anche per le proprie applicazioni.

http://crawler.archive.org/

Il crawler è scritto in Java e testato in primis su Linux ma dovrebbe andare anche su Mac e Windows.

Spesso si legge di persone che vorrebbero scrivere il loro crawler, questo potrebbe essere un buono spunto di partenza.

[ak76]

quasi quasi questo post si potrebbe mettere in evidenza per un mesetto ...

cmq ottimo link kk2000

[kk2000]

Grazie ak76

questo post si potrebbe mettere in evidenza per un mesetto

bhe, considerando in quanto chiedono come funziona o come creare un MDR, sarebbe utile.

Bisogna vedere poi chi veramente va a spulciare il codice sorgente.

Spererei che si aggiungessero commenti e magari test al thread.