msn bot: ma è mai possibile?

[cyberbooks]

Da diverso tempo, riscontro dei fastidiosi picchi di traffico sul mio sito.
Prima sono stato costretto a passare da un server virtuale ad uno dedicato. Poi ho dovuto fare un upgrade di RAM.
Insomma, questi picchi mi hanno costretto ad un notevole aumento della spesa per la gestione del sito.
Questa mattina ho notato un nuovo picco, che ha mandato in palla il server.
Guardando i log del server, ho notato cose di questo tipo:

207.46.98.84 - - [20/Dec/2004:11:01:50 +0100] "GET /links/modelhorseprops.html HTTP/1.0" 404 320 "-" "msnbot/0.3 (+http://search.msn.com/msnbot.htm)"

Il picco è avvenuto prima delle 11, ma tra le 9.30 e le 11 (orario in cui ho dovuto riavviare apache per ben due volte), non c'è nulla.
Mi sorge un dubbio: è possibile che questi picchi siano dovuti al bot di MSN?
E in tal caso, è mai possibilie che quei geni della Microsoft indicizzino un sito di mattina o di pomeriggio e non di notte, come farebbe un motore che non vuole dare fastidio?
Qualcuno ha esperienze simili in merito?

[xnavigator]

Originariamente inviato da cyberbooks
Da diverso tempo, riscontro dei fastidiosi picchi di traffico sul mio sito.
Prima sono stato costretto a passare da un server virtuale ad uno dedicato. Poi ho dovuto fare un upgrade di RAM.
Insomma, questi picchi mi hanno costretto ad un notevole aumento della spesa per la gestione del sito.
Questa mattina ho notato un nuovo picco, che ha mandato in palla il server.
Guardando i log del server, ho notato cose di questo tipo:

207.46.98.84 - - [20/Dec/2004:11:01:50 +0100] "GET /links/modelhorseprops.html HTTP/1.0" 404 320 "-" "msnbot/0.3 (+http://search.msn.com/msnbot.htm)"

Il picco è avvenuto prima delle 11, ma tra le 9.30 e le 11 (orario in cui ho dovuto riavviare apache per ben due volte), non c'è nulla.
Mi sorge un dubbio: è possibile che questi picchi siano dovuti al bot di MSN?
E in tal caso, è mai possibilie che quei geni della Microsoft indicizzino un sito di mattina o di pomeriggio e non di notte, come farebbe un motore che non vuole dare fastidio?
Qualcuno ha esperienze simili in merito?

disallow in robots.txt

[rinzi]

si si , MSN-BOT è molto invadente.... bloccalo nel robots.txt

[pier0]

Originariamente inviato da rinzi
si si , MSN-BOT è molto invadente.... bloccalo nel robots.txt

... rinuncereste ad essere indicizzati su MSN ?!!!

[xnavigator]

Originariamente inviato da pier0
... rinuncereste ad essere indicizzati su MSN ?!!!

quante visite ti porta?

[weppos]

Effettivamente più che un po' invadente è estremamente invadente.

Originariamente inviato da xnavigator
quante visite ti porta?

In un certo senso hai ragione, il problema non è quante visite ti porta ora, ma quante visite potrà portarti (difficile allo stato attuale da valutare).

Il bot attuale non è quello del "vecchio MSN" ma della nuova beta.

E' quindi probabile che stia ciucciando ed analizzando tutto il possibile per mettersi al passo coi contenuti per il lancio della final version.

[cyberbooks]

3-4% del totale dei motori di ricerca.
Visto che anche voi confermate che MSN è molto invadente, devo valutare se vale la pena avere dei blocchi del server per un 1% in più di visitatori
Ovviamente, non ne vale la pena, però dovrei riuscire a fare una previsione sui futuri accessi da MSN.
Personalmente, ho notato che nel corso dei mesi stanno calando (dal 5% di ottobre al 3,5% di dicembre).

[cyberbooks]

E' quindi probabile che stia ciucciando ed analizzando tutto il possibile per mettersi al passo coi contenuti per il lancio della final version.

Però sono giorni che mi sta analizzando tutto il possibile ed immaginabile
Ma gli ci vuole tanto, a quelli della Microsoft, a capire che indicizzando di giorno danno fastidio?

[weppos]

Originariamente inviato da cyberbooks
Però sono giorni che mi sta analizzando tutto il possibile ed immaginabile
Ma gli ci vuole tanto, a quelli della Microsoft, a capire che indicizzando di giorno danno fastidio?

A me va avanti da ottobre.

[Maak]

Originariamente inviato da cyberbooks
Da diverso tempo, riscontro dei fastidiosi picchi di traffico sul mio sito.
Prima sono stato costretto a passare da un server virtuale ad uno dedicato. Poi ho dovuto fare un upgrade di RAM.
Insomma, questi picchi mi hanno costretto ad un notevole aumento della spesa per la gestione del sito.
Questa mattina ho notato un nuovo picco, che ha mandato in palla il server.
Guardando i log del server, ho notato cose di questo tipo:

207.46.98.84 - - [20/Dec/2004:11:01:50 +0100] "GET /links/modelhorseprops.html HTTP/1.0" 404 320 "-" "msnbot/0.3 (+http://search.msn.com/msnbot.htm)"

Il picco è avvenuto prima delle 11, ma tra le 9.30 e le 11 (orario in cui ho dovuto riavviare apache per ben due volte), non c'è nulla.
Mi sorge un dubbio: è possibile che questi picchi siano dovuti al bot di MSN?
E in tal caso, è mai possibilie che quei geni della Microsoft indicizzino un sito di mattina o di pomeriggio e non di notte, come farebbe un motore che non vuole dare fastidio?
Qualcuno ha esperienze simili in merito?

Una semplice domanda:
ma stai parlando del tuo sito in firma?