Ma il robot.txt è un file di testo memorizzato nella directory di primo livello di un sito al fine di impedire che i robot (spider dei motori di ricerca) accedano a certe pagine o sub-directories del sito.
Solo i robot conformi alle regole del "Robots Exclusion Standard" leggeranno e seguiranno i comandi contenuti nel file.
I robot leggeranno il file ad ogni visita, in questo modo le pagine, o intere aree di un sito, possono essere rese pubbliche o private in ogni momento semplicemente cambiando il contenuto del file robot.txt prima di sottometterle nuovamente all'attenzione dei motori di ricerca.

ES. PER evitare che tutti i robot visitino la directory /prova:
User-agent: *
Disallow: /prova

Per dire a tutti i robot di visitare tutto il sito
User-agent: *
Disallow:

Per impedire a googlebot di visitare tutto il sito
User-agent: googlebot
Disallow: /