le mie ipotesi sono:

- codice di stato 304 dell'http
- peso della pagina
- comparazione fra pagina richiesta e pagina in cache

secondo me molto semplicemente il bot passa per x giorni, confronta le varie versioni in cache ed assegna un numero che indica la frequenza di aggiornamento (mettiamo: io bot passo tutti i giorni e tutti i giorni è aggiornata assegno 0 e passo tutti i giorni. io bot passo tutti i giorni ed ogni due giorni è aggiornata assegno 1 e passo meno volte...ecc ecc)

secondo voi ?