Robot, ragni o lumache?

[genset]

Sapete dirmi che differenza c'è tra i robots, gli spiders e i crawlers?

tnx a lot.

[Shiftzero]

dal glossario di Low: [OT]Per Low: Ottimo lavoro, complimenti[/OT]

Crawler
Programma usato dai motori di ricerca per scandagliare il web e individuare le pagine da prelevare. È quasi sinonimo di "spider", in quanto il suo fine è leggermente diverso.

Robot
Software che effettua in automatico l'operazione di visita di un sito e prelievo delle sue pagine web. È un termine simile a "spider", ma più generico, in quanto non strettamente relativo ai motori di ricerca.

robots.txt (file)
File di testo, da inserire nella directory principale di un dominio, che contiene al suo interno alcune direttive che gli molti spider dei motori di ricerca si sono impegnati a seguire. Viene usato per impedire ai motori di ricerca di scandagliare e prelevare file o directory che non si vuole siano archiviati dai motori.

Spider
Software che effettua in automatico l'operazione di visita di un sito e prelievo delle sue pagine web. È un termine simile al più generico "robot" [vedi], ma maggiormente usato quando il software è usato espressamente da un motore di ricerca.

[genset]

Grazie Shiftzero,
ma io sono un po'

Ho ben chiaro cosa sia il robot (ed il file robots.txt) ma non ho capito esattamente la differenza tra crawler e spieder!

Potresti dirmela in poche parole.

Grazie mille!

[Shiftzero]

il crawler individua, lo spider preleva.

Ma credo che Low (ed altri, naturalmente) riescano a spiegarlo meglio di me in parole povere.