Ciao a tutti,
ho un piccolo problema. Devo leggere un file di testo di grosse dimensioni (parliamo di 5 GB circa). Al momento sto usando il "readLine" di "BufferedReader". Volevo sapere, esiste qualche metodo più performante per evitare eventuali "Out of Memory", oppure vado bene su questa strada?
Grazie mille
Se leggi "a righe" con il readLine() di BufferedReader, gli eventuali problemi di memoria (ovvero un possibile e nefasto OutOfMemoryError) NON derivano dall'uso di BufferedReader/readLine() in sé MA da come/dove usi le righe.Originariamente inviata da graydiamond
Se es. le collezioni tutte in un List ... allora sì il problema di memoria ci può essere eccome! Quindi semmai chiarisci COME usi le righe e per farci cosa.
grazie per la risposta Andrea, non uso mappe o liste (quindi su questo non avrei problemi), però il file letto non resta in memoria sulla jva virtual machine?
Quando si fanno valutazioni di questo tipo, bisogna verificare che cosa si fa con i dati, ovvero se si "accumulano" dati in memoria in quantità proporzionale/paragonabile a quanto arriva in ingresso (es. da un file).
BufferedReader ha solo un piccolo array char[] di "buffer" interno di dimensione fissa (per default 8192 char ma si può esplicitare la dimensione) e legge di più di quanto serve perché appunto "bufferizza" i dati in modo da fare meno letture dallo stream sottostante. Ma BufferedReader NON accumula nulla di più del suo buffer interno. Quindi NON è lui di per sé una causa di problemi di occupazione della memoria.
Se tu sei sicuro di non accumulare le righe (o dati estratti/derivati dalle righe) in memoria all'interno di liste, mappe, oggetti, strutture dati ecc..., allora non c'è da preoccuparsi sulla questione della memoria.
Ultima modifica di andbin; 07-05-2020 a 13:52
Grazie Andrea per la tua spiegazione
Permessi di invio
Rispondi quotando