trovato con Google....

<META NAME="robots" CONTENT="all | none | index | noindex | follow |nofollow">
-Viene adoperato per comunicare informazioni allo spider dei motori di ricerca in modo da informare se deve continuare su altre pagine linkate oppure fermarsi a quella. O meglio index indicizza questa pagina. follow continua sui link di questa pagina.all entrambi. none nessuno.
Quando ci si iscrive ad un motore di ricerca si viene poi visitati dallo stesso, questa operazione in alcuni casi genera l'indicizzazione dell'intero sito ovvero il motore legge tutte la varie pagine linkate e che compongono il sito stesso, nel caso di frames sarebbe inutile far leggere ed indicizzare per esempio il frame con il menù da qui la possibilità di escluderlo con i parametri appena citati.
da www.web-link.it