Ho un lamer che mi stà scaricando l'intero sito facendomi andare a palla tutto, come cavolo si bloccano sti cosi ? Il robot in questione si chiama:
WebsiteQuester-www.esalesbiz.com/extra
Ho un lamer che mi stà scaricando l'intero sito facendomi andare a palla tutto, come cavolo si bloccano sti cosi ? Il robot in questione si chiama:
WebsiteQuester-www.esalesbiz.com/extra
se il tuo hoster te lo fornisce come servizio, dovresti avere la ip deny list.
vedi l'accesso, ti segni l'ip/host e lo inserisci
[Disclaimer: le | nel nome non son li per far figo, evito solo di trovarmi spammato il nick nelle millemila pagine del forum in serp ..]
basta che si disconnette e riconette è il gioco è fatto
mi sà che ha finito, ma per bloccare questo spider come devo fare ? Conosco l'user agent "WebsiteQuester-www.esalesbiz.com/extra/"
Il mio provider mi dice:
You also want to consider making your files be unsearchable by robots
and
crawlers, as that usually contributes to high number of hits. If they
hit
a dynamic file, like php, it can cause high memory usage and
consequently
high load:
http://www.robotstxt.org/wc/norobots.html
SE IL TUO SITO è DINAMICO e conosci l'user agent
puoi includere nei tuoi file un pezzettino di codice di quest tipo:
Se l'user agent è WebsiteQuester, reindirizzalo altrove (e levamelo di torno)
se lavori in PHP potrsti cercare qualcosa sull'.htaccess ...probabile che si possa fare qualcosa di analogo
www.indicizzato.it - Registrazioni a pagamento sui motori e directory
www.reserver.it - Prenotazioni online in Italia: inserisci il tuo b&b
Si, il sito è dinamico...però pensavo che si potessero escludere anche da robots.txt
Scusa, ma non basterebbe inserire nel robots.txt
User-agent: WebsiteQuester-www.esalesbiz.com/extra/
Disallow: /
:master:
ah, beata ed ingenua gioventù!...Scusa, ma non basterebbe inserire nel robots.txt
il robot di cui stiamo parlando è un Website eXtractor
ovvero
Website eXtractor saves you time and effort by downloading entire Internet sites (or the sections you stipulate) to your hard drive.
è quindi un softw commerciale studiato per prelevare interi siti, portando a compimento la missione anche al di là delle istruzioni nel robots.txt
www.indicizzato.it - Registrazioni a pagamento sui motori e directory
www.reserver.it - Prenotazioni online in Italia: inserisci il tuo b&b
appunto avrà anche la possibilità di nascondere il proprio user agent con uno comuneOriginariamente inviato da goldrake75
ah, beata ed ingenua gioventù!...
il robot di cui stiamo parlando è un Website eXtractor
ovvero
Website eXtractor saves you time and effort by downloading entire Internet sites (or the sections you stipulate) to your hard drive.
è quindi un softw commerciale studiato per prelevare interi siti, portando a compimento la missione anche al di là delle istruzioni nel robots.txt
Era solo una domanda... come speravo fosse intuibile dallo smile: :master:Originariamente inviato da goldrake75
ah, beata ed ingenua gioventù!...
piuttosto lecita... considerando quanti siti hanno nel proprio robots.txt la seguante istruzione:
User-agent: website extractor
Disallow: /
Permessi di invio
Rispondi quotando