Devi sceglierne uno do quelli elencati

<META NAME =robots CONTENT="all | none | index | noindex | follow | nofollow">
se i motori non lo trovano lo considerano così:
<META NAME =robots CONTENT="index, follow">
significa indicizza la pagina e prosegui,

<META NAME =robots CONTENT="index, nofollow">
indicizza e non proseguire,

<META NAME =robots CONTENT="noindex, follow">
non indicizzare e prosegui,

<META NAME =robots CONTENT="noindex, nofollow">
non indicizzare e non proseguire

e poi leggi dell'altro, fai una ricerca nel
forum e troverai tutte le info che ti servono.