Chi mi spiega a cosa serve esattamente ?

Perché ho notato che in certe Home Page è presente la seguente dicitura :
<meta name="GOOGLEBOT" content="INDEX, FOLLOW" />

mentre in altre no.

Non basta creare un file robots.txt per Google ?
ed aggiornare la Sitemap ogni volta che ci sono modifiche ?

Scusate l'ignoranza ma è un terreno nuovo per me.

Thank you