Innanzitutto come consiglio: non usare il task manager di Windows che peraltro non è in grado di mostrare il grafico della memoria per un singolo determinato processo. Usa jconsole, è un tool del JDK.
o meglio ancora visualVM, sempre parte del jdk a partire dalla versione 6.