eliminare accesso di robots

[br1]

Sul server ho una procedura di aggiornamento che tiene conto dell'indirizzo IP dell'utente... ed ho verificato che da ieri praticamente ogni accesso viene immediatamente seguito da un secondo proveniente da un diverso indirizzo IP e questo duplica le registrazioni
Dall'esame dei report e dal parallelo esame dei log ho visto che il problema potrebbere essere dovuto ad un crawler, ho provato ad inibirlo aggiungendo il file robots.txt

User-agent: *
Disallow: /

ed anche, nella pagina interessata,

<meta name=robots content="noindex">

ma non ho risolto

Allego due records del log

IL.MIO.IP. - - [22/Feb/2004:20:14:48 +0100] "GET /Default.asp HTTP/1.1" 200 1364 "" "Mozilla/4.0 (compatible; MSIE 5.5; Windows 98)"
65.245.128.68 - - [22/Feb/2004:20:14:49 +0100] "GET /Default.asp HTTP/1.1" 200 1364 "" "Mozilla/4.0 (compatible; Cerberian Drtrs Version-3.0-Build-43)"

ciao

[Habanero]

forse l'unica è un filtro sull'IP...

il tuo dovrebbe essere questo:

http://www.pgts.com.au/cgi-bin/psql?robot_info=12785


leggi anche qui:

http://www.robotstxt.org/wc/exclusion.html

[br1]

Il fenomeno si e' arrestato... forse le misure gia' adottate hanno avuto bisogno di un pochino di tempo per agire :master:

ciao