Se vuoi far indicizzare tutto robots.txt non ti serve...