Ho visto in una directory che ti assegnano il link tipo:

www.sito.it

a che serve?
e' la stessa cosa di metterlo nel tag del robots.txt?