Convenienza CSV

[Marcolino21]

Ragazzi, è conveniente usare CSV come banca dati orientata al web e soprattutto se si utilizzano milioni di records ?

Grazie

[Cesar]

No.

[Shores]

Originariamente inviato da Cesar
No.

Completamente d'accordo.

Diverso è se dici "E' conveniente poter esportare i propri db in formati aperti e testuali come CSV?"...

Allora la risposta è certamente SI, ma cercare di usare un db che fosse permanentemente salvato in formato CSV è un incubo nel quale non mi metterei mai...

[Marcolino21]

Originariamente inviato da Shores
Completamente d'accordo.

Diverso è se dici "E' conveniente poter esportare i propri db in formati aperti e testuali come CSV?"...

Allora la risposta è certamente SI, ma cercare di usare un db che fosse permanentemente salvato in formato CSV è un incubo nel quale non mi metterei mai...

Ragazzi scusate se insisto ma il motivo ? Io alcuni motivi negativi ne conosco come il fatto che non si possono fare relazioni fra tabelle, non ci si possono fare elaborazioni di interrogazioni; ma alcuni ritengono sia utile quando si vogliono incamerare milioni di dati e l'accesso in lettura per prelevare un dato sia immediato e con il vantaggio che il file stesso sia di pochi KB; E' Così ?

Grazie

[sspintux]

Originariamente inviato da Marcolino21
Ragazzi scusate se insisto ma il motivo ? Io alcuni motivi negativi ne conosco come il fatto che non si possono fare relazioni fra tabelle, non ci si possono fare elaborazioni di interrogazioni; ma alcuni ritengono sia utile quando si vogliono incamerare milioni di dati e l'accesso in lettura per prelevare un dato sia immediato e con il vantaggio che il file stesso sia di pochi KB; E' Così ?

Grazie

l'accesso immediato ai record di un file csv mi suona nuova

comunque un dbms ti offre anche
- gestione della sicurezza/autorizzazioni
- gestione delle transazioni
- gestione indici/cache per accesso veloce ai record
- backup/restore con dati congruenti
... e sicuramente ho dimenticato molte altre cose.

Se quanto sopra non ti serve (... e ne dubito) puoi anche usare un file csv
... ma il giorno in cui dovessi scoprire il contrario non vorrei trovarmi nei tuoi panni

[Jarno]

non vorrei contribuire con una fesseria, però a volte mi è capitato di dover salvare sul server informazioni strutturate ma secondo uno schema non definito a priori, quindi ho evitato mysql ed ho usato un array PHP salvato in un file (con le dovute protezioni). Il CSV mi avrebbe solo complicato la vita con il parsing.

[franzauker2.0]

Originariamente inviato da Marcolino21
ma alcuni ritengono sia utile quando si vogliono incamerare milioni di dati e l'accesso in lettura per prelevare un dato sia immediato e con il vantaggio che il file stesso sia di pochi KB; E' Così ?

Grazie

No.
saranno i soliti bimbiminkia o simili, anche perchè l'accesso in lettura è inerentemente sequenziale (a meno di non avere campi a lunghezza fissa), il che significa stralento, non "immediato".
Anche il file di pochi KB è una sciocchezza, sia perchè ovviamente non può essere (se le righe sono milioni) sia perchè esistono engine con basso overhead (esempio myisam, ma anche myisam-compresso ad esempio) nel caso di mysql che sono proprio adatti per l'accodamento in scrittura di grandi quantità di informazioni

Versione breve: cazzata immane.
L'unica situazione nella quale è conveniente è un logging storico mai o quasi mai usato.
Ad esempio per memorizzare gli accessi alle pagine web, i codici 404 e così via, per poi cercare con grep, sed & cugini vari.

Non per un'applicazione, grande o piccola non importa (se piccola, come ad esempio un'app per un cellulare, allora la scelta principale è sqllite)

1) gestione delle transazioni
2) backup/restore con dati congruenti

Non è minimamente detto, anzi ad esempio la 1) non esiste proprio per mysql su buona parte dell'installato (con myisam).
Così come 2).
Per non parlare poi di 1 e 2 ad esempio con sqllite.

[sspintux]

Originariamente inviato da franzauker2.0
...
Per non parlare poi di 1 e 2 ad esempio con sqllite.
...

... in effetti sarebbe stato meglio se avessi scritto dbms in maiuscolo

[Marcolino21]

Originariamente inviato da sspintux
... in effetti sarebbe stato meglio se avessi scritto dbms in maiuscolo

Ragazzi scusate se insisto e comunque avete pienamente ragione sul fatto che con i database si gestiscono relazioni, backup, si possono fare query e quant'altro, ma documentandomi un pò in giro, ho letto da qualche parte (non trovo più l'articolo altrimenti l'avrei postato), che il sistema informatico ferroviario indiano e uno dei più grandi al modo, sia gestito con archivi flat e sembra anche i csv; poichè in ballo qui c'è la gestione di milioni di dati su cui dovranno essere fatte letture, grafici ecc. viene sostenuto che con i csv utilizzati da ambienti e linguaggi per web con il PHP soddisfano i seguenti requisiti :
1) il csv con milioni di dati al su interno uno in fila all'altro, ha un peso di pochi kb;
2) effettuando la lettura con le funzioni del PHP e non con la normale select su database, si ha accesso immediato ai dati per fare grafici ecc.
Questo sono solo due esempi; io purtroppo non ho esperienza in tal senso però so che si sta operando su una scelta del genere per gestire la mola di dati sul fotovoltaico;
In pratica al posto di trasferire mola di dati contemporaneamente al database e stressarlo, sembrerebbe risultare conveniente utilizzare CSV.

Io comunque mi sono sempre chiesto e considerata anche la mia esperienza, ma se fosse stata una cosa positiva perchè le grandi aziende avrebbero dovuto usare per le loro grandi applicazioni Oracle o SQL Server ecc..Che ne pensate ?

Grazie

[Shores]

Originariamente inviato da Marcolino21
Ragazzi scusate se insisto e comunque avete pienamente ragione sul fatto che con i database si gestiscono relazioni, backup, si possono fare query e quant'altro, ma documentandomi un pò in giro, ho letto da qualche parte (non trovo più l'articolo altrimenti l'avrei postato), che il sistema informatico ferroviario indiano e uno dei più grandi al modo, sia gestito con archivi flat e sembra anche i csv; poichè in ballo qui c'è la gestione di milioni di dati su cui dovranno essere fatte letture, grafici ecc. viene sostenuto che con i csv utilizzati da ambienti e linguaggi per web con il PHP soddisfano i seguenti requisiti :
1) il csv con milioni di dati al su interno uno in fila all'altro, ha un peso di pochi kb;
2) effettuando la lettura con le funzioni del PHP e non con la normale select su database, si ha accesso immediato ai dati per fare grafici ecc.
Questo sono solo due esempi; io purtroppo non ho esperienza in tal senso però so che si sta operando su una scelta del genere per gestire la mola di dati sul fotovoltaico;

Io comunque mi sono sempre chiesto e considerata anche la mia esperienza, ma se fosse stata una cosa positiva perchè le grandi aziende avrebbero dovuto usare per le loro grandi applicazioni Oracle o SQL Server ecc..Che ne pensate ?

Grazie

In quello che dici ci sono parecchi errori evidenti:

1) La dimensione di un file CSV contenente milioni di righe non può che essere dell'ordine di milioni di byte, perchè anche se le righe fossero tutte vuote ALMENO il carattere di a capo (1 byte) per ogni riga dovrebbe essere presente

2) per la mia esperienza le query su un db strutturato sono ENORMEMENTE più veloci della analisi e lettura di un file csv, e altrettanto NON esiste nessun sistema DBMS che ti permetta di fare query select direttamente su un file CSV, qualcuno mi smentisca, ma io non ne ho mai visti...

Di nuovo, come ti è già stato detto: se si tratta di dati storici che verranno poi analizzati sporadicamente per estrarne delle tendenze statistiche, allora può anche andare bene, altrimenti qualsiasi uso che preveda il dover effettuare quotidianamente delle ricerche su questi dati NECESSITA di una base dati strutturata, e NON è certo reso agevole dall'usare CSV.