la frequenza di spiderizzazione dei vari siti/pagine web dipende dal loro grado di authority e cioè dal numero di link da siti "importanti" che ricevono (ok la storia è molto più lunga ma questa semplificazione rende l'idea, non me ne vogliano i SEO esperti)....

per esempio c'è un mio sito che viene spiderizzato ogni 24/48 ore proprio perchè ha un alto grado di authority