msn bot: ma è mai possibile?

[cyberbooks]

E un bel cartello con scritto "torno subito"?

Per non andare OT: dico una fesseria, o Google ha qualcosa tipo 25.000 server?
In questo caso, ad una media di 1 pagina al secondo, per indicizzare 5 miliardi di pagine ci impiegherebbe 2-3 giorni.

[xnavigator]

Originariamente inviato da cyberbooks
E un bel cartello con scritto "torno subito"?

Per non andare OT: dico una fesseria, o Google ha qualcosa tipo 25.000 server?
In questo caso, ad una media di 1 pagina al secondo, per indicizzare 5 miliardi di pagine ci impiegherebbe 2-3 giorni.

no ne ha acquistato di meno, ma fa girare su ognuno più bot, ovviamente..

il software non occupa niente, pochissime risorse


(e poi considera che lui ne ha 8, rifai il calcolo )

[carmineabomb]

P.S: non c'è un modo per dire agli spider di passare più tardi?

Alcuni spider leggono questo metatag
<META NAME="revisit-after" CONTENT="30 days">
così lo spider dovrebbe passare ogni 30 giorni

[Enrico OLIVETTI]

Mesi fa ho avuto anch'io lo stesso problema con MSN boot.

Bloccare lo spider mi sembrava una grande str...zata, perché vuol dire precludersi comunque una possibilità di sviluppo del sito.

Analizzando il log, mi sono accorto che il boot di MS è molto più stupido di googlebot, e va facilmente in loop. A me per esempio si succhiava tutti i dati di dmoz che ho incorporato nel sito tramite un CGI.

Mi è bastato escludere, con robots.txt, la directory /cgi-bin e dal quel momento la situazione è tornata nella normalità.

Quindi consiglio di leggere per bene i logs del server e vedere dove lo spider si "impalla", quindi escludere solo quella directory.

[cyberbooks]

Guardando i log (anche se non con molta attenzione), ho notato solo che MSN cercava di accedere a pagine inesistenti.
Tu cosa intendi per "impallarsi"? Mi consigli di escludere directory poco importanti e succhiano parecchie risorse del server?

[Enrico OLIVETTI]

Io ho parlato del caso mio, dove succedeva che seguendo un link, lo spider di MSN si leggeva tutte quante le pagine di ODP succhiando risorse a tutto spiano.

Io leggendo i percorsi ho capito questo dai miei logs. Così ho escluso la directory cgi-bin con il robots.

I motivi per cui msn va in loop possono essere infiniti. Io ho suggerito di controllare questo per avere qualche indizio in base al quale vedere come si comporta MSn sul tuo sito.

Segui sul log dove passa e ripassa, magari trovi la correzione al problema.

[weppos]

Originariamente inviato da Enrico OLIVETTI
Io ho parlato del caso mio, dove succedeva che seguendo un link, lo spider di MSN si leggeva tutte quante le pagine di ODP succhiando risorse a tutto spiano.

Io leggendo i percorsi ho capito questo dai miei logs. Così ho escluso la directory cgi-bin con il robots.

I motivi per cui msn va in loop possono essere infiniti. Io ho suggerito di controllare questo per avere qualche indizio in base al quale vedere come si comporta MSn sul tuo sito.

Segui sul log dove passa e ripassa, magari trovi la correzione al problema.

Osservazione interessante.
Sto riscontrando una situazione simile su un forum dove per eccellenza è pieno di link dinamici e collegamenti rindondanti.

[giorgiotave]

Originariamente inviato da carmineabomb
Alcuni spider leggono questo metatag
<META NAME="revisit-after" CONTENT="30 days">
così lo spider dovrebbe passare ogni 30 giorni

tutti lo leggono nessuno lo interpreta

quel meta non serve a niente!