informazioni sugli spider (es. Googlebot)

[andrews92]

ciao a tutti, dato che tra i visitatori del mio forum ho trovato vari guest con IP come 74.6.28.38
74.6.26.225 74.6.29.24 74.6.24.80 ed altri simili ho fatto una ricerca e ho scoperto che era uno spider di Yahoo. Io però ho solo sentito nominare googlebot. Avete delle informazioni??

[Habanero]

informazioni su cosa? ovviamente ogni motore di ricerca ha il suo spider, altrimenti le pagine come le indicizzano?

Gli IP appartengono alla ex Inktomi acquistata da Yahoo! nel 2002.

http://en.wikipedia.org/wiki/Inktomi

[andrews92]

cioè vorrei sapere gli IP di questi spider, così li distinguo dai visitatori del mio forum

[Habanero]

gli ip possono cambiare in continuazione... non puoi prenderli come riferimento... ti consiglio piuttosto di analizzare lo USER AGENT col quale si presentano.

Qui ne trovi una (fin troppo) ricca lista:
http://www.user-agents.org/index.shtml

Qui altri:
http://www.siteware.ch/webresources/useragents/db.html



la domanda comunque non è molto inerente la sicurezza...