Con la premessa che hai fatto all'inizio, allora vorrebbe dire che ad esempio ad intervalli di 1 minuto vai a scrivere la data da qualche parte in modo permanente. Quando l'applicazione ritorna attiva, puoi appunto sapere a che data/ora si era interrotta.
Nota: un Date contiene un long dei millisecondi. Un long è 8 byte, quindi la cosa più semplice è salvare questi 8 byte. Puoi anche decidere di salvare solo i secondi ... dividi per 1000 ma non ti cambia comunque tantissimo le cose.
E nota che serializzare 1 Date con la "serializzazione" degli oggetti (=ObjectOutputStream) fa scrivere ben più che 8 byte.