Per approfondire il discorso ti consiglio di fare una ricerca qui:
http://www.webmasterworld.com/help.cgi?cat=search

Credo che non tenga conto delle direttive specificate nel file robots.txt

Io tempo fa l'ho "bannato" inserendo il suo IP nel file .htaccess

Ciao