Come faccio a verificae che effettivamente il mio file robots.txt funziona correttamente ?
(verificare che gli spider non entrino in determinate cartelle)

Grazie