forse l'unica è un filtro sull'IP...

il tuo dovrebbe essere questo:

http://www.pgts.com.au/cgi-bin/psql?robot_info=12785


leggi anche qui:

http://www.robotstxt.org/wc/exclusion.html