Ciao a tutti!
Ho letto che se si vuole escludere le pagine all'indicizzazione dei motori di ricerca bisogna creare il file robots.txt ed indicare i motori a cui non si è interessati.
E' possibile tramite il tag
<meta name="robots"... > escludere le singole pagine a specifici motori di ricerca, quindi senza il file robots.txt ?
Come si fa?
Qualcuno ha un elenco degli User Agent?
Grazie Ciao!
Leo
si può usare il tag solo per alcuni motori che lo supportano e la sintassi (come le info sul supporto) in genere sono disponibili sul sito del motore e dello spider.
In alternativa, in maniera più sicura, usa il file robots.
allora supponiamo che voglia creare il file robots.txt e supponiamo che voglia abilitare la directory pippo1 solo a Google, la directory pippo2 solo ad Altavista. Si può fare attraverso il file robots.txt e cosa dovrei scriverci?
Qui c'e' praticamente tutto:
http://www.robotstxt.org/wc/robots.html
Permessi di invio
Rispondi quotando