[SQL SERVER] Inserimento massivo

[nat99]

Salve, ho diversi file da importare in un db, parliamo di milioni di record.

I valori stringa sono cosi impostati nel file CSV:
="VALORE
CONTINUO STRINGA"
="ALTRO VALORE"
insomma: cominciano con =" e terminano con "J
I valori numerici non hanno caratteri di inizio/fine.

I campi sono separati da ;

Ho letto che dovrei usare i file di formato FMT, sinceramente ho provato ma non ci sono riuscito.

Sapreste darmi una mano?

[optime]

non ho capito come è fatto il file, anche perché se è davvero un CSV si importa senza alcun problema. posta un estratto del file

[nat99]

sono diversi file ecco perché non l'ho postato, ne metto uno riepilogativo

ARTICOLO_ID;INFO_ID;INFO_AGGIUNTIVA
4465387;8040;"Opzione[=>]Valore"
4465387;8042;"Opzione[=>]Valore"
4465387;1651;"Opzione 1[=>]Valore 1
Opzione 2[=>]Valore2"

Bene o male questa è la struttura

[optime]

sarà un bel rompicapo caricarlo così, visto che le righe non sono uguali. riesci a caricarlo in excel e sistemarlo?

[marino51]

se csv è uguale alla struttura della tabella
puoi usare la "bulk insert" direttamente

BULK INSERT CSVTest FROM 'c:\csvtest.txt' WITH
(
FIELDTERMINATOR = ',',
ROWTERMINATOR = '\n'
)
GO

altrimenti puoi creare una view che faccia da tramite tra la struttura del csv e quella della tabella

CREATE VIEW YourViewName
 AS
 SELECT Field1, Field2, Field3
 FROM PriorTableThatExists
 GO
BULK INSERT YourViewName
 FROM ‘C:\YourFilePath’
WITH ( FIELDTERMINATOR = ‘,’,
ROWTERMINATOR = ‘\n’
)
GO

lo user per la connessione è meglio sia tipo amministratore per avere le autorizzazioni alle "bulk insert"

[nat99]

Grazie marino51,
il problema è che la terminazione '\n' non sempre è verificata

[marino51]

per separare le righe credo esistano 2 condizioni 0x0A oppure lo stesso carattere seguito da 0x0D
potresti provare anche con "\r" altrimenti,

se puoi importare in Excel diventa facile creare una macro per inserire da Excel a db direttamente (se vuoi ti posto una via ... )

[nat99]

Magari, grazie mille

[marino51]

Come prima cosa devi creare una connessione al db e provarla per essere sicuro che funzioni (tranquillo è semplice)
con un file UDL (Universal Data Link) crei la connessione al database
ovvero, crei un file .txt vuoto (tasto dx mouse, nuovo, documento di testo)
lo rinomini con il nome che vuoi ma con estensione ".udl"
poi con tasto dx del mouse scegli "proprietà", ti si apre la scelta dei parametri di connessione al db
come provider puoi scegliere x MS SQL,
NativeClient (se lo hai installato ma non scegliere vers 11) oppure,
OLEDB for SQLserver oppure,
OLEDB for ODBC o, da ultimo,
OLEDB for ODBC with Connection String
quindi inserisci i parametri del db (compresa la password dell'utente che usi) e soprattutto verifichi la connessione con l'apposito tasto
se funziona, sei a metà dell'opera

fammi sapere se ok o ti serve qualche info aggiuntiva

[marino51]

poi ti riporto la macro che ho usato per un test, inserendo 4 record in un db,
puoi vedere come viene usato il file UDL che ti ho fatto creare

Sub Macro1()
Set tdb = CreateObject("ADODB.Connection")
tdb.connectionstring = "file name=E:\TEMP\TestDB_NativeClient.UDL;"
tdb.Open
sqlcmd = "INSERT INTO rooms ( idhotel, room, status)" & _
    "SELECT 9, 1, 'OK'" & _
    "UNION ALL SELECT 9, 2, 'OK'" & _
    "UNION ALL SELECT 9, 3, 'NO'" & _
    "UNION ALL SELECT 9, 4, 'OK'"
tdb.Execute (sqlcmd)
tdb.Close
End Sub

certo, dovremo complicare un poco la macro per leggere tutte le righe da inserire (ma non molto)