Per escludere, con certezza, dall'indicizzazione un file presente nella directory principale (httpdocs) dove c'è pure la index.htm quale delle due istruzioni qui sotto è corretta?
1) User-agent: *
Disallow: file_da_escludere.htm
2) User-agent: *
Disallow: /file_da_escludere.htm
Grazie
Attenzione, il robots.txt non esclude al 100% i motori, ma solo gli spider che sono stati istruiti a seguire quello standard.Originariamente inviato da fandangood
Per escludere, con certezza,
Qualsiasi file che sia pubblico agli utenti (non in directory protette) potrebbe anche essere "preso" da qualche motore.
Quindi consigli il meta tag "noindex" per essere proprio sicuro?
Se uno spider decide di ignorare una richiesta di un webmaster, la ignora indipendentemente da come la richiesta è stata effettuata.
Può essere un robots.txt o un meta tag o una preghiera in aramaico: se non vuole soddisfare la tua richiesta non la soddisfa e basta.
La certezza assoluta non la si può ottenere chiedendo ma impedendo. Giocando con le impostazione del web server e basandosi sulla stringa di user-agent, è possibile impedire ad uno spider di ricevere la pagina.
E' ARRIVATO! Usi trucchi che i motori potrebbero ritenere spam? Scoprilo con lo Spam Detector v1.1
Guida approfondita alla visibilità dei siti sui motori: www.motoricerca.info
Permessi di invio
Rispondi quotando