con il robot.txt si possono bloccare parti di sito... in modo che quando lo spider o il robot passano non indicizzano quella sezione... come ad esempio la directory amministrativa...