Guarda, non ho esperienza diretta con quel device, ma che io ricordi dal datasheet, dovrebbe ammettere errori dell'ordine di 1s/giorno o, in certe condizioni, 1s/settimana.

Il fatto di avere dei ritardi a causa della lettura lo escluderei.

Secondo me hai dei problemi sulla precisione del clock (problemi di deriva termica e/o di disturbi sovrapposti).

Non ho idea del circuito elettrico che hai adottato e di come l'hai costruito praticamente, ma fossi in te, porrei piu' attenzione al filtraggio dei disturbi e al miglioramento del clock.