Dai un'occhiata a
http://www.searchengineworld.com/rob...s_tutorial.htm

Inoltre da una ricerca nel forum ho trovato questo Thread interessantissimo:
http://forum.html.it/forum/showthrea...ght=robots.txt


Con il file robots.txt si possono bloccare gli spider dei motori che hanno accettato di aderire allo standard definito dalla w3c.

Ma chi usa un proprio spider per fini diversi (ad esempio il download), certo non considera il robots.txt.

Per cui può essere inutile