Googlebot "pesante" mi satura la banda....

[Ibrahimovic]

Vorrei agganciarmi a questo argomento per esporre il mio problema:
mi sono interessato di googlebot relativamente ad altra questione (ho un topic in altra sezione) su uno dei forum da me realizzati. Studiando "quel" problema, mi sono imbattuto in altro più serio su un altro forum sempre da me gestito che risiede su un hosting a pagamento con 15gb di banda limite......vengo alla questione:


Lo scorso febbraio ho aperto un forum su hosting web a pagamento.
Bene....il sito (un forum) ha generato un certo traffico, più o meno intenso durante l'anno, ma ultimamente abbastanza stabile....quello di cui mi sono accorto è che però col tempo googlebot mi sta "saturando" tutta la banda a mia disposizione.

Nello specifico:

Febbraio: 200kb (forum partito a fine mese)
Marzo: 17mb
Aprile: 64mb
Maggio: 1.88gb
Giugno: 825mb
Luglio: 904mb
Agosto: 1.35gb
Settembre: 670mb
Ottobre: 4.14gb
Novembre: 9.21gb
Dicembre: 12.25 (ad oggi)

Come potete ben vedere, a fronte di 15gb di banda mensile disponibile, ed a fronte di un traffico sul forum mediamente stabile, i valori sono schizzati a dismisura negli ultimi periodi. Premesso che tutti gli altri spider, dai dati statistici, hanno sempre tenuto un comportamento uniforme e mai "pressante" in termini di banda, google ora mi da questo serio problema, di questo passo infatti il mese prossimo non avrò banda per generare traffico sul forum (google mi saturerebbe tutto) e non arriverei a fine mese.
Che faccio?

[ZoneForum]

Negli strumenti per webmaster di Google potresti selezionare una velocità di scansione minore...
A meno che non aggiorni/aggiungi tantissime pagine ogni giorno

[Ibrahimovic]

avevo inserito una sitemap fatta con un tool online.....per si e per no l'ho rimossa.
Ma questa c'era da 3 settimane circa, il punto è che google ha cominciato a ciucciare banda da molto prima.

Cosa posso fare?
Ho un modo per dire allo spider "vattene non ti voglio?"

[00_digital]

con il robots.txt (http://it.wikipedia.org/wiki/Robots.txt)

[Ibrahimovic]

ho appena uploadato un file robots.txt con dentro semplicemente:

User-agent: googlebot
Disallow: /


Dici che in questo modo google andrà via e non prenderà nemmeno 1kb di banda?
Pensi che in questo modo (cercando poi di studiare successivamente il problema di come farmi indicizzare) posso stare tranquillo in tal senso?

[Ibrahimovic]

Aggiungo, pur avendolo uploadato non ci sono risultati degni di nota.
Leggevo qua e la che google scarica il robots.txt una volta al giorno....pare quindi che debba aspettare, vi risulta che l'operazione non sia immediata?

credete che in tal modo blocco il problema e quindi il venir meno della banda?
grazie a tutti.

[Nemesis_RM]

Potrebbe metterci un pò...

[Petro_suse91]

Originariamente inviato da Ibrahimovic
Aggiungo, pur avendolo uploadato non ci sono risultati degni di nota.
Leggevo qua e la che google scarica il robots.txt una volta al giorno....pare quindi che debba aspettare, vi risulta che l'operazione non sia immediata?

credete che in tal modo blocco il problema e quindi il venir meno della banda?
grazie a tutti.

Sì, ma in quel modo google non indicizzerà più nulla del tuo sito.

Fai come ti ha detto Zoneforum: entra nel pannello di google webmaster tools (ovvero il pannello di sitemaps) e imposta una velocità di scansione minore.
E rimetti il robots com'era prima

[Nemesis_RM]

Sì, ma in quel modo google non indicizzerà più nulla del tuo sito.

Avevo dato per scontato che lui sapesse ciò.

[PRInternationa|]

Originariamente inviato da Ibrahimovic
Aggiungo, pur avendolo uploadato non ci sono risultati degni di nota.
Leggevo qua e la che google scarica il robots.txt una volta al giorno....pare quindi che debba aspettare, vi risulta che l'operazione non sia immediata?

credete che in tal modo blocco il problema e quindi il venir meno della banda?
grazie a tutti.

Secondo me stai sbagliando. Lo spider lascialo fare e caccia più soldi per una banda maggiore. Motivo : più spider = più pagine indicizzate; meno spider= meno pagine indicizzate, meno visitatori, meno soldi guadagnati.

Ho parlato