[VB] Velocizzare i tempi di un ciclo

[Melly]

salve a tutti avrei bisogno di un consiglio...

il problema è questo....

Ho una cartella con circa 80.000 file txt.
ogni file ha semplicemente una riga che io devo suddividere e memorizzare in una tabella di access.
ho scritto il codice e funziona tutto ma ho dei tempi che secondo la mole di dati con cui ho a che fare sono davvero troppo lunghi

Esempio pratico per caricare 3300 file ci metto 7 minuti circa

questo è il codice

Private Sub psbImportGriglie_Click()
On Error GoTo GestioneErrore
Dim NomeFileGriglie As String
Dim Risposte As String
Dim CodiceDomanda As String
Dim Risposta As String
Dim Punteggio As String
Dim cnt As Integer
Dim i As Integer
Dim percorso As String
Dim LunghezzaRisposte As Integer
Dim ContatoreNumeroDomanda As Integer
ContatoreNumeroDomanda = 1
' mi serve per dare un numero progressivo all'interno della tabella

NomeFileGriglie = Dir(App.Path & "\Griglie\*.txt")
Open App.Path & "\Griglie\" & NomeFileGriglie For Input As #1
    Line Input #1, Risposte
Close #1

LunghezzaRisposte = Len(Risposte)
Do Until NomeFileGriglie = ""
    For i = 1 To LunghezzaRisposte - 2 Step 13
        CodiceDomanda = Mid(Risposte, i, 7) & Mid(Risposte, i + 8, 1)
        Risposta = UCase(Mid(Risposte, i + 7, 1))
        Punteggio = Replace(Mid(Risposte, i + 9, 4), ".", ",")
        GloUdt.StrSql = "INSERT INTO Griglia values('" & Mid
        (NomeFileGriglie, 1, 5) & "','" _
        & ContatoreNumeroDomanda & "','" & CodiceDomanda & "','" & 
         Risposta & "','" _
        & Punteggio & "',null,null)"
        Call CheckRcs(GloUdt.StrSql, GloUdt.Rcs)
        ContatoreNumeroDomanda = ContatoreNumeroDomanda + 1
        DoEvents
    Next
    Kill (App.Path & "\Griglie\" & NomeFileGriglie)
    DoEvents
    NomeFileGriglie = Dir
    Open App.Path & "\Griglie\" & NomeFileGriglie For Input As #1
        Line Input #1, Risposte
    Close #1

    ContatoreNumeroDomanda = 1
    cnt = cnt + 1
    lblCnt.Caption = cnt
Loop

MsgBox "OK"
Exit Sub
GestioneErrore:
Call GestioneErrori
End Sub

[GudFella]

prova a memorizzare le righe di tutti i file in un array
poi scorri l'array e scrivi sul db

[xegallo]

i file aprili in binario ci mette decisamente meno

[riky78]

1 - Togli i DoEvents
2 - Sostituisci tutte le funz che ritornano testo con le versioni con la $ (mid -> mid$ ; replace->replace$, ecc...)
3 - Come dice xegallo apri in binary

Volendo puoi ottimizzare molto l'SQL (alemno, con SQLServer funzionerebbe, con access non so...) xò diventa un po + complicato.... fammi sapere se hai ancora bisogno

[Melly]

ho provato con l'arrey bidimensionale ma le dimensioni che prende diventano ingestibili....

ho aperto i file in binario e sostituito le mid con mid$ ma purtroppo ho guadagnato solo pochi files al minuti (3 o 4)

se tolgo i doevents va decisamente più lento


aiutatemi.... non posso metterci due ore solo per caricare 80000 files

[riky78]

allora...

Se togli Doevents non è + lento, solo che perdi il controllo e magari hai l'impressione che si sia piantato ma alla fine dovresti guadagnare qualcosa.

Secondo me la cosa migliore che puoi fare è lavorare sull'sql.

Invece che eseguire un istruzione per ogni ciclo puoi fare una stringa che contenga TOT istruzioni (ad es. 100) ed eseguire quella stringa. In pratica eseegui le istruzioni SQL molto meno spesso.
Attenzione però!!!
Visual Basic è lentissimo a gestire le stringhe (almeno nel modo classico), quindi rischi di impiegare + tempo ad allocare le stringhe che a eseguire l'SQL...
Se ti succede dimmi qualcosa che ti posto un po di codice x risolvere il prob...

ciao

[Melly]

Originariamente inviato da riky78
allora...

Se togli Doevents non è + lento, solo che perdi il controllo e magari hai l'impressione che si sia piantato ma alla fine dovresti guadagnare qualcosa.

Secondo me la cosa migliore che puoi fare è lavorare sull'sql.

Invece che eseguire un istruzione per ogni ciclo puoi fare una stringa che contenga TOT istruzioni (ad es. 100) ed eseguire quella stringa. In pratica eseegui le istruzioni SQL molto meno spesso.
Attenzione però!!!
Visual Basic è lentissimo a gestire le stringhe (almeno nel modo classico), quindi rischi di impiegare + tempo ad allocare le stringhe che a eseguire l'SQL...
Se ti succede dimmi qualcosa che ti posto un po di codice x risolvere il prob...

ciao

ora provo e ti dico grazie

[Melly]

Originariamente inviato da riky78
1 - Togli i DoEvents
2 - Sostituisci tutte le funz che ritornano testo con le versioni con la $ (mid -> mid$ ; replace->replace$, ecc...)
3 - Come dice xegallo apri in binary

Volendo puoi ottimizzare molto l'SQL (alemno, con SQLServer funzionerebbe, con access non so...) xò diventa un po + complicato.... fammi sapere se hai ancora bisogno

ho fatto un test e sembra che il $ rallenti...

proprio non capisco :master:

[Melly]

ho provato ad ottimizzare con l'sql passandogli come mi avevi detto qualcosa del tipo

StringaSql= INSERT INTO Griglia values('00001','76','AA003721','A','0,27',null,null) 
INSERT INTO Griglia values('00001','77','AA003331','A','0,27',null,null) 
INSERT INTO Griglia values('00001','78','AA003171','B','0,27',null,null)
cnn.execute StringaSql

ma access non sembra gradire

[vonkranz]

StringaSql= "INSERT INTO Griglia values('00001','76','AA003721','A','0,27',null,null) "
cnn.execute StringaSql
StringaSql= "INSERT INTO Griglia values('00001','77','AA003331','A','0,27',null,null)"
cnn.execute StringaSql
StringaSql= "INSERT INTO Griglia values('00001','78','AA003171','B','0,27',null,null)"
cnn.execute StringaSql

...forse cosi' gradisce di piu'