Grazie Shiftzero,
ma io sono un po'

Ho ben chiaro cosa sia il robot (ed il file robots.txt) ma non ho capito esattamente la differenza tra crawler e spieder!

Potresti dirmela in poche parole.

Grazie mille!