[C++] Velocizzare il calcolo su elementi di un array molto grande

[freetom]

Tra un'elaborazione che origini un mega array di 120.000 elementi e un'elaborazione che origini 120 file di 1000 elementi e che lavori con array + piccolo di 1000 elementi... c'e' differenza di velocità secondo la vostra esperienza?

Grazie e buonanotte

[Alex'87]

I 120 file li elabori in parallelo?

[YuYevon]

Scusa ma come potrebbe elaborarli "in parallelo"? In ogni caso, operazioni di I/O su memoria secondaria non potrebbero _mai_ essere più veloci di quelle che coinvolgono la sola memoria principale...

[Alex'87]

Originariamente inviato da YuYevon
Scusa ma come potrebbe elaborarli "in parallelo"?

Come faccio a saperlo, non hai detto nulla di cosa dovrebbe fare questo programma! Se deve svolgere una serie di calcoli la soluzione potrebbe essere quella di usare le thread o forkare direttamente il processo stesso ma senza qualche altra informazione facciamo fatica a darti una mano... Che tipo di operazioni di I/O deve fare? Qual è la sequenza delle operazioni che vengono svolte dal programma?

[YuYevon]

Ma guarda... non sono io che ho postato la richiesta di aiuto, mi sono solo aggiunto alla discussione...

Comunque ero scettico sulla possibilità di elaborare questi file in parallelo perché anche ricorrendo a processi e thread diversi questi verrebbero eseguiti al più concorrentemente, non in parallelo... senza contare tutto l'overhead che si creerebbe tirando in ballo la creazione di thread e processi.

In ogni caso sarebbe effettivamente meglio avere più informazioni sul problema, anche se torno a dire che ricorrere ad operazioni di I/O su file e sperare di ottenere migliorie in termini di tempo di esecuzione è un'idea piuttosto strana :-)

[freetom]

L'idea strana.. mi è venuta ipotizzando un rallentamento delle operazioni in concomitanza con l'aumentare dell'array di contenimento del report finale delle stesse...

Cerco di spiegarmi meglio...
Ho 120.000 righe di 3 elementi separati da virgola in un file FILE1
Ho 5.000 righe di 5 elementi separati da virgola in un secondo file FILE2

Io faccio un confronto X OGNI RIGA di FILE1 con OGNI RIGA di FILE2 e segno eventuali presenze uguali tra gli elementi separati da virgola...

Il tutto poi lo metto con dati riassuntivi x ogni riga di FILE1 in un apposito array che alla fine
conterrà 120.000 elementi.

Ora siccome all'inizio del processo... è piuttosto sveltino.. e per passare da una riga all'altra di FILE1 ci mette anche un solo sec.. e poi verso la metà questo rallenta enormemente fino a superare il minuto.. pensavo che questo rallentamento fosse dovuto non ai files particolarmente corposi.. bensì all'immagazzinamento nell'array e all'aumentare di questo via via dell'evolversi delle elaborazioni..

Di qui l'idea strana di svuotarlo... ogni 1000 righe di FILE1 e creare nel contempo un relativo file.

Sperando di essere stato un pò + chiaro vi saluto e vi ringrazio per l'attenzione postami fin qui.

[Alex'87]

Originariamente inviato da YuYevon
Ma guarda... non sono io che ho postato la richiesta di aiuto, mi sono solo aggiunto alla discussione...

Oddio scusa, non ho letto l'autore del post e pensavo fosse dell'utente che ha aperto il thread ^_^''
Colpa mia ^_^''

[freetom]

Come si azzera un array?
es un array ritardi con dentro 30 elementi...

[Andrea Simonassi]

Originariamente inviato da freetom
Tra un'elaborazione che origini un mega array di 120.000 elementi e un'elaborazione che origini 120 file di 1000 elementi e che lavori con array + piccolo di 1000 elementi... c'e' differenza di velocità secondo la vostra esperienza?

Grazie e buonanotte

No peggiori solo le cose, devi lavorare sul numero di operazioni, devi ridurne il numero.

hai 120.000 array di 3 elementi da confrontare con 5000 di cinque per un totale di 120000*5000*15 operazioni = 9 miliardi di operazioni su 2,4 gigabyte di memoria, devi ridurre questi numeri.

[freetom]

a me ne tornerebbero molte.. meno.. 500 mln di elaborazioni.





comunque come si azzera un array?