PDA

Visualizza la versione completa : Spider di nameprotect.com


Kintaro
14-07-2003, 14:17
Un consiglio.

Questo mese questo spider:
http://www.nameprotect.com/botinfo.html
di questo sito:
http://www.nameprotect.com/

s' passato oltre 1000 pagine e oltretutto ha riscaricato per ogni pagina il robot.txt da 4Kb

ora a me sembra non si tratti di un motore di ricerca, ma di un monitor per trademark e marchi e quindi se ho capito bene non mi porta alcun vantaggio e se cos fosse gli oltre 50 mega di traffico mensile che si preso mi danno notevolmente fastidio

lo conoscete? secondo voi faccio bene ad escluderlo col robot.txt?

fandangood
14-07-2003, 19:44
Per approfondire il discorso ti consiglio di fare una ricerca qui:
http://www.webmasterworld.com/help.cgi?cat=search

Credo che non tenga conto delle direttive specificate nel file robots.txt

Io tempo fa l'ho "bannato" inserendo il suo IP nel file .htaccess

Ciao

Kintaro
14-07-2003, 21:39
Dichiarano di tenerne conto (e fin qui vabb si potrebbe non credergli), ma visto che sono tanto pazzi da riscaricarsi il robots per ogni pagina vista sarebbero scemi poi ad ignorarne il contenuto, o no?

comunque su WW ne parlano malissimmo.. bannare bannare

per ora provo col robots, poi vi faccio sapere se lo rispetta o no :quipy:

grazie fandangood

Loading