se intendo riferirmi a tutti i robots, scrivo:
codice:
User-agent: *
se intendo escludere solo un file al/ai robots, scrivo:
codice:
Disallow: /testi.html
se intendo escludere una intera cartella, scrivo:
codice:
Disallow: /cartella