a tutti
Ho un quesito da porvi,
è necessario creare il file robots.txt per un sito, anche se non si hanno pagine che non devono essere indicizzate dai robots?
Grazie anticipatamente
![]()
![]()
a tutti
Ho un quesito da porvi,
è necessario creare il file robots.txt per un sito, anche se non si hanno pagine che non devono essere indicizzate dai robots?
Grazie anticipatamente
![]()
![]()
In teoria no.
Però tempo fa lessi da qualche parte che era comunque sempre bene metterlo e non ricordo neanche perchè.
Bho!
![]()
Originariamente inviato da bidibodibù
In teoria no.
Però tempo fa lessi da qualche parte che era comunque sempre bene metterlo e non ricordo neanche perchè.
Bho!
![]()
e cosa ci si mette, se non si devono inserire le pagine che non devono essere indicizzate?
![]()
Credo questo, comunque controlla su google.
User-agent: *
Follow:
Però non ricordo bene, controlla in questa pagina per esempio:
Robots.txt grammar
Per permettere il completo accesso dello spider al tuo sito:
User-agent: *
Disallow:
o puoi creare un "/robots.txt" file vuoto
o puoi non usarlo proprio.
Originariamente inviato da bidibodibù
Per permettere il completo accesso dello spider al tuo sito:
User-agent: *
Disallow:
o puoi creare un "/robots.txt" file vuoto
o puoi non usarlo proprio.
Grazie del consiglio![]()
quindi è meglio evitare di scrivere User-agent: * Disallow:, anche perche nel robots.txt devo inserire anche il percorso della sitemap.
penso che non si incavoli se scrivo solo il percorso della sitemap
![]()
![]()