spider motori: quali conviene bloccare?

[sparwari]

io sto girando per forum internazionali da giorni...

date me una mano....


una bella lista di IP di spider da bloccare deve esistere!!!! non è possibile che non ci sia. è solo da trovare

[homeworker]

@sparvari: già se si bloccano gli user agent si ha già un bel guadagno, tanto chi si travestirebbe da spammone?

Certo avere l'indirizzo ip sarebbe un controllo in più, al limite si cerca manualmente e si mette solo per gli spammoni veramente doc...

[sparwari]

Originariamente inviato da homeworker
@sparvari: già se si bloccano gli user agent si ha già un bel guadagno, tanto chi si travestirebbe da spammone?

Certo avere l'indirizzo ip sarebbe un controllo in più, al limite si cerca manualmente e si mette solo per gli spammoni veramente doc...

non ho capito. parla "terra terra"

[homeworker]

Prendiamo baiduspider
Mettiamo che il loro user agent è baiduspider (non me lo ricordo a memoria).

Nel mio log ho letto che l'utima visita o una delle ultime è avvenuta con l'indirizzo 202.***.***.***

Vado su www.iana.org e cerco a chi appartiene l'indirizzo ip in questione e li blocco tutti. A meno che no sia un provider, in quel caso non conviene bloccarlo ci taglieremmo le gambe da soli. Se non siamo sicuri basta bloccare solo l'ip che ci ha visitato...

[sparwari]

grazie homeworker

------------------

http://www.attention-to-details.com/...on-windows.asp

nel link che posto c'è un elenco di IP e altre cose scritte che per me non sono facilmente comprensibili.

di cosa si tratta di preciso???

[homeworker]

Originariamente inviato da sparwari
grazie homeworker

------------------

http://www.attention-to-details.com/...on-windows.asp

nel link che posto c'è un elenco di IP e altre cose scritte che per me non sono facilmente comprensibili.

di cosa si tratta di preciso???

Prego.

Blocca una serie di user agent ed una serie indirizzi ip tramite il global.asa di asp. Quando inizia una sessione asp (arriva un nuovo navigatore nel sito) viene fatto il controllo ed eventualmente restiuisce un errore server 404.
Weppos correggimi pure... :master:


Più o meno fa quello che su linux si fa tramite .htaccess
Di sistemi lato server ce ne sono a quintalate, l'unica cosa è avere una lista...

[rinzi]

Originariamente inviato da homeworker
Prego.

Blocca una serie di user agent ed una serie indirizzi ip tramite il global.asa di asp. Quando inizia una sessione asp (arriva un nuovo navigatore nel sito) viene fatto il controllo ed eventualmente restiuisce un errore server 404.

Weppos correggimi pure... :master:

ESATTO.... forse in alcuni casi è anche meglio del robots.txt come sistema,

le indicazione del robots.txt possono essere ignorete, il 404 no... è come sbattergli la porta in faccia

[sparwari]

[supersaibal]Originariamente inviato da sparwari
non parliamo del file robots , ma di un metodo più valido per bloccare gli spider. giusto?

si è parlato pertanto del evitare accessi indesiderati al proprio sito tramite l'utilizzo del file .htaccess
tuttavia (e non lo sapevo io fino a poco fa) i file .htaccess sono validi solo sui server Unix o Linux, quindi non è possibile fare ciò su server Windows.

ettore P ha osservato che meglio sarebbe usare per bloccare i "bad spider" mediante tramite identificazione dell'IP/UA (IP user Agent). soluzione che si può adottare anche su server Windows.

a questo punto chiedo dove si può trovare un elenco di questi IP\UA?[/ [/supersaibal]

e te lo dico io dove!!!!!

...dopo un lungo peregrinare, godete con me tutti voi (e fatemi abbondare...)

http://www.kloth.net/internet/badbots.php

List of Bad Bots: I have seen violating the robots.txt standard

aggiornatissimo con dati dal 2003 e fino a gennaio 2005.

MI CONFERMA SOLO QUALCUNO CHE SONO BUONI?

Pertanto se ho un sitoweb su server Windows: li prendo IP degli User Agent, li segnalo al mio servizio hosting e lui me li blocca

GIUSTO?

P.S. per i moderatori: ho ripreso questo vecchio 3d perchè in questo modo la questione "bad-spider ciuccia-banda" è risolta in modo esaustivo. non lucchettate il 3d o vi segnalo a NetKiller e a Saibal!