leggevo in un vecchio trhead che se nell'head si mette
<meta name="robots" content="index,follow)"> ci deve essere anche il file robots.txt nella root del sito.
La domanda è (scusate l'ignoranza): faccio un file di testo, lo chiamo robots.txt e inserisco pari pari queste due righette?
User-agent: *
Disallow: