URL Crawler

[MarkRenton]

Ciao a tutti,
avrei bisogno di uno spider che si 'limiti' (senza indicizzarli) a cercare in tutta la Rete file con una determinata estensione e che (possibilmente) si interfacci con MySQL per salvare la lista di URL. Avete qualche consiglio? Tnx.

P.S.
Se non è disponibile un'alternativa gratuita possono andare bene anche software a pagamento.

[fradefra]

Sul forum Motori di Ricerca e Web Marketing si discute delle stategie, non delle implementazioni. Per queste ultime, esistono i vari forum tecnici.
Ti sposto in scripting. Se precisi in quale linguaggio vuoi operare, il moderatore potrà spostarti nella sezione più conveniente.