Non hai postato nemmeno una riga di codice, quindi già di per se risulta abbastanza difficile darti qualche risposta concreta se non quella di provare ad aumetare la memoria a disposizione della JVM.
Ma, stando a quello che dici, sembrerebbe piuttosto un problema legato al tuo codice, che non scarica correttamente la memoria quando alcuni oggetti non sono più usati... ma sempre senza codice, nessuno lo può sapere.

Ad ogni modo, con una banalissima ricerca all'interno del forum, con chiave "OutOfMemory" sarebbe saltata fuori questa discussione:

http://forum.html.it/forum/showthrea...readid=1007338


Ciao.