robots.txt per un sito

[TigerWB]

a tutti

Ho un quesito da porvi,
è necessario creare il file robots.txt per un sito, anche se non si hanno pagine che non devono essere indicizzate dai robots?

Grazie anticipatamente

[bidibodibù]

In teoria no.

Però tempo fa lessi da qualche parte che era comunque sempre bene metterlo e non ricordo neanche perchè.
Bho!

[TigerWB]

Originariamente inviato da bidibodibù
In teoria no.

Però tempo fa lessi da qualche parte che era comunque sempre bene metterlo e non ricordo neanche perchè.
Bho!

e cosa ci si mette, se non si devono inserire le pagine che non devono essere indicizzate?

[bidibodibù]

Credo questo, comunque controlla su google.

User-agent: *
Follow:

Però non ricordo bene, controlla in questa pagina per esempio:

Robots.txt grammar

[bidibodibù]

Per permettere il completo accesso dello spider al tuo sito:

User-agent: *
Disallow:

o puoi creare un "/robots.txt" file vuoto

o puoi non usarlo proprio.

[TigerWB]

Originariamente inviato da bidibodibù
Per permettere il completo accesso dello spider al tuo sito:
User-agent: *
Disallow:
o puoi creare un "/robots.txt" file vuoto
o puoi non usarlo proprio.

Grazie del consiglio
quindi è meglio evitare di scrivere User-agent: * Disallow:, anche perche nel robots.txt devo inserire anche il percorso della sitemap.

penso che non si incavoli se scrivo solo il percorso della sitemap