Escludere delle pagine dai motori di ricerca

[diegoctn]

Ragazzi vorrei escludere delle pagine dall'indicizzazione dei motori di ricerca, come posso fare? Ricordo qualcosa come robot=no.........qualche consiglio? Grazie mille

[the_wanderer]

Usando il robots puoi decidere in prima istanza se escludere solo qualcuno oppure tutti gli spider. Nel caso in cui volessi impedire l'accesso solo ad alcuni spider usa

User-agent: nome bot

ad esempio
User-agent: googlebot

Se vuoi escludere la pagina a più di un bot li devi dichiarare separatamente.

Poi devi indicare tutte le pagine che non vuoi siano indicizzate, lo fai in questo modo(puoi nascondere anche delle cartelle)

Disallow: /primofile.html
Disallow: /cartella1/

Se non vuoi che una determinata pagina sia indicizzata da qualsiasi motore di ricerca allora puoi usare questa sintassi

User-agent: *
Disallow: /file.html

Delle raccomandazioni:
Accertati che il file robots.txt sia chiamato così e che sia nella directory principale del sito.
Meglio non usarlo per nascondere doorway con tecniche spammose

[the_wanderer]

Al limite puoi usare questo meta

<META NAME="ROBOTS" CONTENT="NOARCHIVE">, forse tu ti riferivi a questo.

[devil105]

Originariamente inviato da the_wanderer
Al limite puoi usare questo meta

<META NAME="ROBOTS" CONTENT="NOARCHIVE">, forse tu ti riferivi a questo.

La trovo la soluzione più adeguata in quanto ti garantisce la non indicizzazione della pagina anche se linkata da siti esterni.

Di solito il robot.txt personalmente lo uso per evitare l'indicizzazione di cartelle sensibili o cartelle ad esempio contenenti pannelli di amministrazione ecc ecc insomma per contenuti e pagine non direttamente accessibili dal sito.

[diegoctn]

Si, infatti. Grazie mille a tutti e due. Ciao