Googlebot

[NNGNews]

Chi mi spiega a cosa serve esattamente ?

Perché ho notato che in certe Home Page è presente la seguente dicitura :
<meta name="GOOGLEBOT" content="INDEX, FOLLOW" />

mentre in altre no.

Non basta creare un file robots.txt per Google ?
ed aggiornare la Sitemap ogni volta che ci sono modifiche ?

Scusate l'ignoranza ma è un terreno nuovo per me.

Thank you

[rigby76]

Il dialogo con i motori di ricerca sull'indicizzazione passa per vari strumenti: il robots.txt è uno, ma esistono anche i meta tag robots. Quello che hai citato serve a dire a Googlebot di indicizzare la pagina seguire e i link: cosa inutile dato che lo farebbe comunque.

[NNGNews]

Originariamente inviato da rigby76
Il dialogo con i motori di ricerca sull'indicizzazione passa per vari strumenti: il robots.txt è uno, ma esistono anche i meta tag robots. Quello che hai citato serve a dire a Googlebot di indicizzare la pagina seguire e i link: cosa inutile dato che lo farebbe comunque.

Ah, bene.

Grazie mille !
Buona giornata

[entony90]

Il robots.txt e i meta tag robots hanno su per giù la stessa funzione, ma a mio parere lavorare sul robots.txt è molto più pulito. Google tra l'latro scarica automaticamente il robots.txt e aiuta anche a crearlo quindi credo che quello sia il metodo più apprezzato da Google stesso.