Tu intendi i META TAG per gli spider??

<META name="robots" CONTENT="nofollow/index/noindex/follow/all">

Le opzioni del campo CONTENT possono essere:

* nofollow = non proseguire nell'indicizzazione
* index = indicizza questa pagina
* noindex = non indicizzare questa pagina
* follow = prosegui ad indicizzare le altre pagine
* all = indicizza tutte le pagine

oppure il robot.txt...

http://www.robotstxt.org/