Ciao a tutti.

Volevo fare un piccolo sondaggio. Quanti di voi usano il file robots.txt per prevenire l'indicizzazione di alcune pagine o directory del sito?

Qualcuno di voi ha mai incontrato problemi (spider che non seguono lo standard, ad esempio)?