quali sono i parametri che devo incrociare per capire chi è uno spider?
quelli "in chiaro" che ho modo di vedere sui miei log sono:
Googlebot/2.1 (+http://www.google.com/bot.html)
msnbot/0.11 (+http://search.msn.com/msnbot.htm)
Microsoft-WebDAV-MiniRedir/5.1.2600
Rispondi quotando