IMHO utilizzare un database general purpose è illogico per gestire una tale mole di dati.

Per come hai descritto il progetto, il problema principale è l'archiviazione. Al mondo non credo esistano molte facility in grado di archiviare una così ampia mole di dati. Di sicuro sono molto pochè quelle accessibili a privati.

Se puoi descrivere in maggiori dettagli il progetto, magari qualche idea viene fuori. In particolare mi piacerebbe sapere come mai il DB "si può spezzare in parti a mano a mano che diventa grande". Certi dati diventano "storici" che non necessitano più per le successive elaborazioni?