Significa che stai chiedendo a tutti gli spider di non navigare ed incizzare tutto il sito.

Se ti interessa essere sui motori di ricerca, togli la seconda istruzione.