Salve a tutti ho pubblicato da poco un nuovo sito ed ho messo nella root il file robots.txt.
Nella sezione strumenti per webmaster noto che googlebot analizza il suddetto file tutti i giorni e a volte anche un paio di volte al giorno.
Questo vuol dire che scansiona anche l'intero sito? Oppure è possibile che passa a scansionare solo il file in questione?
Lo stesso discorso vale anche per la sitemap?
No, quasi mai lo spider legge il sito per intero. Intanto gli spider di Google sono più di uno ed alcuni hanno funzioni specializzate (come la lettura dei CSS piuttosto che delle immagini, ecc. )
Va anche detto che sarebbe impossibile leggere in un colpo solo siti di una certa dimensione.
Fradèfra Insight - Crescita professionale e personale
Consulenza e corsi per la crescita imprenditoriale, professionale e personale, a distanza o in presenza.
Permessi di invio
Rispondi quotando