Ciao a tutti
e da qualche giorno che cerco di rispondere a questa domanda:
il file "robots.txt" esclude l'inclusione dei <META NAME="ROBOTS"> all'interno delle pagine web?
...o meglio se c'è l'uno escludo l'altro ?
Dopo una confusione totale suul'argomento trovo finalmente in rete il paragrafo specifico con all'interno questa frase:
"In mancanza del meta tag ROBOTS, gli spider si comportano come se avessero trovato INDEX,FOLLOW"
vedere qui:
http://www.motoricerca.info/meta-tag.phtml
A conferma della mia "scoperta" mi viene in soccorso l'ultimo paragrafo di quel doc
"Quando il meta tag ROBOTS non basta
Il meta tag ROBOTS sopra discusso è un utile strumento per controllare i comportamenti degli spider, ma non è l'unico. Nel prossimo capitolo discuteremo di un altro mezzo: il file robots.txt. "
...quindi deduco che la risposta alla mia domanda sia:
il file "robots.txt" deve essere sempre, il meta dipende dai casi..cmq la presenza dei 2 contemporaneamente aumenta la possibilità di un risultato finale migliore rispetto alla presenza di uno solo.
E' così?
Pier
Rispondi quotando
