le mie ipotesi sono:
- codice di stato 304 dell'http
- peso della pagina
- comparazione fra pagina richiesta e pagina in cache
secondo me molto semplicemente il bot passa per x giorni, confronta le varie versioni in cache ed assegna un numero che indica la frequenza di aggiornamento (mettiamo: io bot passo tutti i giorni e tutti i giorni è aggiornata assegno 0 e passo tutti i giorni. io bot passo tutti i giorni ed ogni due giorni è aggiornata assegno 1 e passo meno volte...ecc ecc)
secondo voi ?

Rispondi quotando

) passi ogni 24 ore e nei casi specifici anche ogni ora per vedere se c'è qualche novità.. certamente il peso lo aggiorna solo per renderlo pubblico, non credo che prenda la data perchè essa puo' essere settata come 2015
l'unica cosa è paragonare checksum della cache con quella online.. la data viene considerata locale del server (convertita in GMT ovviamente - almeno per Google).