Scusate l'ignoranza... cosa sono i file robots?

Servono gli spider?

Mi potreste anche spiegare come si fanno?


Ciao