Originariamente inviato da fandangood
Per escludere, con certezza,
Attenzione, il robots.txt non esclude al 100% i motori, ma solo gli spider che sono stati istruiti a seguire quello standard.
Qualsiasi file che sia pubblico agli utenti (non in directory protette) potrebbe anche essere "preso" da qualche motore.