salve,
ho visto che alcuni siti usano questa stringa e la inseriscono direttamente nel file robots.txt
Sitemap: http://www.nomedominio.it/sitemap.xml
domanda:
ma il file robots.txt non doveva servire solo per "comunicare" agli spider di non effettuare la scansione di determinate pagine/cartelle di un sito!?
Quindi che utilità ha mettere questa stringa nel file robots.txt oppure c'è qualcosa che mi sfugge!?

Rispondi quotando