crawler di google

[zed79]

C'è qualche differenza tra i due crawler di google che utilizzano i due user-agent che riporto di seguito, il primo è passatto sul mio sito in modo massicio verso l'8 luglio, il secondo il 21 22...

Googlebot/2.1 (+http://www.googlebot.com/bot.html)
Googlebot/2.1 (+http://www.google.com/bot.html)

[Low]

Lo spider di Google ha cambiato il testo dell'User-agent alcuni giorni fa.

[Stealth]

parecchie volte al giorno passano sul mio sito i crawler di MisterG.

crawl04.googlebot.com
crawl29.googlebot.com
crawl14.googlebot.com
ecc...

sono quelli x il controllo di adsense oppure gli spider utilizzati da Google x l'indicizzazione?

[weppos]

Gli spider che hai inserito non sono di adsense ma a dire il vero non li ho mai visit da parte di google. :master:

Ma il riferimento che hai postao è l'user agent?

[Low]

Credo siano gli host del crawler principale di Google.

[Stealth]

le stat del sito mi danno queste info a riguardo:

64.68.83.53
crawl32.googlebot.com
mediapartners googlebot

tra l'altro ho anche altre info su spider quali msn:
65.54.164.118 msnbot64118.search.msn.com

dunque possibile che siano tutti spider?

[weppos]

64.68.83.53
crawl32.googlebot.com
mediapartners googlebot

questo è adsense

[Stealth]

grazie weppos..allora tutti gli spider google di adsense sn identificati con crawler01..02..03 ecc...

qual'è quello che G. usa x indicizzare?

[Low]

qual'è quello che G. usa x indicizzare?

Il fatto è proprio che temo usino host simili.

E' più facile distinguerli dall'user-agent.

[weppos]

Originariamente inviato da Low
Il fatto è proprio che temo usino host simili.

E' più facile distinguerli dall'user-agent.

Sottoscrivo.