io metterei tutto a database .

COn una procedura che :


1- scarica i dati
2- genera le query di insert
3- troncva la tabella
4- ripopola la tabella

ovviament equesa procedura e' chiamata da una procedere che imposta su db o file o deve ti pare una flag che comunica l'operazione in corso.

eventualmente puoi anche generare delle tabelle orarie.

ossia generi una nuova tabella e lapopoli mnetre la gente guarda quella vecchia (non hai disconituità) quando l'operazione e' concolusa aggiorni la varibile che tiene traccia della nuova tabelle e quindi droppi la vecchia.

UNa sorta di table-buffering