Non indicizzare una pagina

[Craig Willmore]

E' possibile specificare ai robot un preciso url da non indicizzare evitando di ricorrere al noindex/nofollow nei meta tag?
Ha qualche conseguenza sulle sitemaps?
Un saluto a tutti

[Toniello]

Nel robot.txt specifica la cartella o la pagina da non seguire.

Antonio

[Craig Willmore]

E come dovrei fare, è possibile scrivere una cosa del genere?

User-agent: *
Disallow: /http://www.sito.com/pagina1.html

o

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW" href="http://www.sito.com/pagina1.html">

ciao

[RAM_WM]

Così:

Nel robots.txt

User-agent: *
Disallow: /pagina1.html

oppure nell'head della pagina

<meta name="robots" content="noindex,nofollow" />

[Craig Willmore]

Originariamente inviato da RAM_WM
Così:

Nel robots.txt

User-agent: *
Disallow: /pagina1.html

oppure nell'head della pagina

<meta name="robots" content="noindex,nofollow" />

E se uno non dispone di pagine html, come per i blog, cosa fa?

[RAM_WM]

quindi le pagine sono formate da template e non puoi modificare l'head di una sola di esse?

usa il robots.txt

User-agent: *
Disallow: /permalink-della-pagina-da-non-indicizzare

[Craig Willmore]

Originariamente inviato da RAM_WM
quindi le pagine sono formate da template e non puoi modificare l'head di una sola di esse?

usa il robots.txt

User-agent: *
Disallow: /permalink-della-pagina-da-non-indicizzare

Grazie
bisogna indicare l'url completo?
User-agent: *
Disallow: /http://www.sito.com/pagina1

[borgorosso]

http://www.motoricerca.info/robots.phtml

[Craig Willmore]

Originariamente inviato da borgorosso
http://www.motoricerca.info/robots.phtml

Non fornisce però spiegazioni per il caso specifico in questione

[borgorosso]

Senza offesa, ma non spiega il caso specifico solo e soltanto se non sai leggere

Formato di robots.txt
Il file robots.txt contiene dei record, ognuno dei quali comprende due campi: il campo "User-agent" ed uno o più campi "Disallow".

Il campo User-agent serve ad indicare a quale robot/spider le direttive successive sono rivolte. La sua sintassi è:
User-agent <duepunti> <spazio> <nome_dello_spider>

Il campo Disallow serve a indicare a quali file e/o directory non può accedere lo spider indicato nel campo User-agent. La sintassi di questo campo è:
Disallow <duepunti> <spazio> <nome_del_file_o_directory>

Esempio di un record:

User-agent: googlebot
Disallow: /testi.html
Disallow: /mp3/