robots.txt

[Nkosi]

leggevo in un vecchio trhead che se nell'head si mette
<meta name="robots" content="index,follow)"> ci deve essere anche il file robots.txt nella root del sito.
La domanda è (scusate l'ignoranza): faccio un file di testo, lo chiamo robots.txt e inserisco pari pari queste due righette?
User-agent: *
Disallow:

[meganoide]

si, ma inserisci la sintassi per escludere o meno un determinato spider: www.robotstxt.org

[Nkosi]

ma se non voglio escludere niente le due righette rimangono tali e quali come sopra? Giusto?

[meganoide]

si