Vorrei sapere se dopo aver creato il file robots.txt, ed averlo inserito nella mia root, è necessario che io usi qualche meta tag nelle mie pagine .php per richiamarlo.
Premetto che prima della creazione del file robots.txt io usavo:
<meta name="robots" content="all" />
direttamente nelle pagine.
Per coloro che desiderano vedere il codice delle pagine il link è: www.futureskynet.it
il file invece www.futureskynet.it/robots.txt
Per una battaglia sono sempre a disposizione
Se hai creato correttamente il file robots.txt se a posto, quindi non hai bisogno di nessun richiamo sulle pagine.
Per avere informazioni in più su come utilizzare robots.txt da un'occhiata a questo indirizzo:
http://www.robotstxt.org/wc/robots.html
Trovi molte informazioni utili su come ottimizzare al meglio il file... senza incorrere in esclusioni non progettate!
Francesco Gori
WWW Passion Weblog
ti ringrazio, avevo gia dato un'occhiata a quel sito, ma non riesco a capire quale sia una struttura standard per automatizzare il tutto e per escludere gli User-agent dannosi.
Per caso sai pure se l'esclusione delle cartelle si può fare per solo alcune sobdirectory
tipo: Disallow: /html/it/img/
Per una battaglia sono sempre a disposizione
Si, sicuramente.
Tuttavia per la sintassi corretta controlla il sito che ti ho dato come riferimento.
Francesco Gori
WWW Passion Weblog
Permessi di invio
Rispondi quotando