Puoi provare a usare le WeakHashMap, sono mappe che vengono sfoltite in automatico dal garbage collector.
Fai però diversi test sull'effettivo ciclo di vita delle informazioni durante la tua sessione, non vorrei che il gc te le elimini troppo presto durante il tuo processo di attesa.