Metodo migliore per escludere gli spider:Consigli.

[xtiger]

Buongiorno a tutti/e voi!

Secondo voi,quale e' il modo migliore per escludere TOTALMENTE TUTTI GLI SPIDER E I BOT diversi da GG Msn e Yahoo?

Non mi aspetto una risposta generica ma piuttosto spero in un inizio di "conversazione testuale e di confronto"

Ci sono oramai troppi spider pericolosi per i nostri siti che assorbono i nostri contenuti senza chiederci nemmeno il consenso e portandoci a volte verso una penalizzazione o peggio.

Sto pensando infatti di escludere TUTTI GLI ACCESSI DA SPIDER diversi dai Bot di GG Msn e Yahoo.

Voi che fareste? Puo' bastare intervenire solo a livello di Robot Txt,e di "No index,No follow" ?

[Shiftzero]

[supersaibal]Originariamente inviato da xtiger
Buongiorno a tutti/e voi!

Secondo voi,quale e' il modo migliore per escludere TOTALMENTE TUTTI GLI SPIDER E I BOT diversi da GG Msn e Yahoo?

Non mi aspetto una risposta generica ma piuttosto spero in un inizio di "conversazione testuale e di confronto"

Ci sono oramai troppi spider pericolosi per i nostri siti che assorbono i nostri contenuti senza chiederci nemmeno il consenso e portandoci a volte verso una penalizzazione o peggio.

Sto pensando infatti di escludere TUTTI GLI ACCESSI DA SPIDER diversi dai Bot di GG Msn e Yahoo.

Voi che fareste? Puo' bastare intervenire solo a livello di Robot Txt,e di "No index,No follow" ?



[/supersaibal]

In linea di massima, si. O comunque è senza dubbio un'azione da fare per cercare di raggiungere il tuo scopo.

Per maggiori informazioni sull'utilizzo del file robots.txt ti rimando a questi link:
Come Googlebot interpreta il robots.txt
Il file robots.txt: escludere i motori indesiderati

[RAM_WM]

[supersaibal]Originariamente inviato da xtiger
Puo' bastare intervenire solo a livello di Robot Txt,e di "No index,No follow" ? [/supersaibal]

Più che sul "no index, no follow" io focalizzerei l'attenzione sul robots.txt che ti permette di distinguere quali bot escludere

[stefano3804]

io lo faccio con il php

se l'user agente non mi piace gli restituisco pagina bianca
ne ho eliminati tantissimi

[Shiftzero]

[supersaibal]Originariamente inviato da stefano3804
io lo faccio con il php

se l'user agente non mi piace gli restituisco pagina bianca
ne ho eliminati tantissimi [/supersaibal]

Si certo... è una tecnica diffusa e al momento efficace.
Per dettagli, fare una ricerca su Google con la chiave "cloaking "!

[stefano3804]

si ma il cloacking dovrebbe essere una cosa nociva

io sto facendo cloacking e manco lo sapevo

In pratica a tutti quei bot che non se ne fregano del robots.txt gli restituisco blank

Dici che potrei venire penalizzato ?

[Shiftzero]

[supersaibal]Originariamente inviato da stefano3804
si ma il cloacking dovrebbe essere una cosa nociva

io sto facendo cloacking e manco lo sapevo

In pratica a tutti quei bot che non se ne fregano del robots.txt gli restituisco blank

Dici che potrei venire penalizzato ? [/supersaibal]

Dipende... che tecnica usi per il riconoscimento dello user-agent?

[stefano3804]

Variabile d'ambiente gli riconosco l'agent

poi con una regexp
if(ereg($_SERVER[http_user_agent],"pythonbot"){
exit;}
else{
include "pagina.php";
}


io ho scritto pythonbot perchè è quello che mi succhia + banda

ma ho un array con tutti sti cattivi