Ciao a tutti, mi chiedevo, dopo aver postato poco fa di un argomento collegato a questo, se secondo voi è normale che su 10 giga che consumo sul mio sito, oltre 5 (esattamente 5,43 Gb) siano generati dal robots Yahoo! Slurp, così come mi risulta dalle statistiche del sito a cui mi riferisco. Paraonando, Googlebot consuma solo 644.84 MB totali nelle sue visite (sto parlando di traffico mensile).
Secondo me c'è qualcosa che non va.......
Si cè qualcosa che non va...hai provato a contattarli?
ci provo ora.... in effetti non avevo imposto nessuna restrizione nel file robots.txt, ma da tregiorni invece prima parzialmente, e poi definitivamente, ho disabilitato slurp. tuttavia sembra non considerarlo proprio e continua a visitare il sito e ciucciare traffico... in 3 giorni, nonostante le restrizioni, ha consumato 218 Mb... non capisco...
User-agent: Slurp
Disallow: /
c'è qualcosa di sbagliato??
ma tra l'altro come cavolo faccio a mettermi in contatto con qualche responsabile? non trovo assolutamente niente....
Credo che la UA esatta del bot di yahoo sia Yahoo! Slurp
anche io sono indecisa sul nome corretto, ma a farmi optare per Slurp è stata questa pagina: http://help.yahoo.com/help/it/ysearc.../slurp-02.html in cui viene chiamato appunto Slurp.
Comunque sia, dal mio report statistiche il nome risultante è Yahoo Slurp... così per tagliare la testa al toro ho scritto il mio robots.txt così
User-agent: Slurp
Disallow: /
User-agent: Yahoo Slurp
Disallow: /
ora aggiungerò anche il punto esclamativo, e vediamo domani se ho risolto qualcosa...
Permessi di invio
Rispondi quotando