Spider di nameprotect.com

[Kintaro]

Un consiglio.

Questo mese questo spider:
http://www.nameprotect.com/botinfo.html
di questo sito:
http://www.nameprotect.com/

s'è passato oltre 1000 pagine e oltretutto ha riscaricato per ogni pagina il robot.txt da 4Kb

ora a me sembra non si tratti di un motore di ricerca, ma di un monitor per trademark e marchi e quindi se ho capito bene non mi porta alcun vantaggio e se così fosse gli oltre 50 mega di traffico mensile che si è preso mi danno notevolmente fastidio

lo conoscete? secondo voi faccio bene ad escluderlo col robot.txt?

[fandangood]

Per approfondire il discorso ti consiglio di fare una ricerca qui:
http://www.webmasterworld.com/help.cgi?cat=search

Credo che non tenga conto delle direttive specificate nel file robots.txt

Io tempo fa l'ho "bannato" inserendo il suo IP nel file .htaccess

Ciao

[Kintaro]

Dichiarano di tenerne conto (e fin qui vabbè si potrebbe non credergli), ma visto che sono tanto pazzi da riscaricarsi il robots per ogni pagina vista sarebbero scemi poi ad ignorarne il contenuto, o no?

comunque su WW ne parlano malissimmo.. bannare bannare

per ora provo col robots, poi vi faccio sapere se lo rispetta o no :quipy:

grazie fandangood