link sitemap in file robots.txt

[GiuseppeQ]

salve,

ho visto che alcuni siti usano questa stringa e la inseriscono direttamente nel file robots.txt

Sitemap: http://www.nomedominio.it/sitemap.xml

domanda:
ma il file robots.txt non doveva servire solo per "comunicare" agli spider di non effettuare la scansione di determinate pagine/cartelle di un sito!?

Quindi che utilità ha mettere questa stringa nel file robots.txt oppure c'è qualcosa che mi sfugge!?

[rigby76]

Inserire l'URL della sitemap nel robots.txt è un modo di segnalarla ai motori... che tra l'altro vale per tutti quelli che aderiscono al protocollo.