forse questa pagina può esserti utile
http://www.robotstxt.org/wc/norobots.html

ciao