problema con WebReaper!

[PiccoloElfo2]

Salve a tutti, sapete se WebReaper rispetta il robots.txt?

E' tutto il giorno che gironzola ed ha portato via 15MB di roba!

Non credo sia uno spider di rilievo! Mi sembra più un parassita che altro!


Nel caso che stringa devo aggiungere nel mio robots.txt, questa qui sotto?

User-agent: webreaper
Disallow: /

grazie

[giorgiotave]

Elfo alcuni spider non rispettano il robots

ti consiglio di fare cloaking

becchi lo user agent e gli stampi un 404, oppure un ritorna più tardi

[key]

SE e quello non puoi farci nulla... cambia lui diversi proxsy....e´lui?????

[PiccoloElfo2]

[supersaibal]Originariamente inviato da key
SE e quello non puoi farci nulla... cambia lui diversi proxsy....e´lui????? [/supersaibal]

non ho idea! accidenti, ora vedo di beccare il suo IP, ma non è semplice!

[PiccoloElfo2]

pensavo che il suo ip fosse questo 66.71.190.47, ho messo il blocco lato server, e verificato dove si trovasse geograficamente (accludo diapositiva )


ma a quanto pare non è il suo ip, visto che continua a girovagare indisturbato, anche se più lentamente!

[key]

66.71.190.47 prova

[PiccoloElfo2]

si ho visto! Sembrerebbero essere sul mio stesso hoster! VVoVe:

[key]

[CiodoF]

Con Web repert puoi cambiare impostare uno user agent diverso (es. quello di GG) e allora fa quello che vuole.
L'unico modo è bloccare l'ip se ci riesci.

Lo uso anche io per scaricare i siti dei concorrenti e ti dico che è un buon prodoto, e che lavora egregiamente.

[meganoide]

oppure bloccare il suo ip e/o useragent con mod_rewrite di apache, se puoi farlo