[MySQL - Postgres] Feedback su database di grosse dimensioni

[webus]

Per un progetto che sto iniziando a sviluppare sto valutando l'eventualità di usare un backend opensource.

Qualcuno qui ha già avuto esperienze dirette con database di grosse dimensioni su MySQL o PostgreSQL?
Intendo file di almeno 15-20 GB, ma meglio ancora se con dimensioni intorno ai 100 GB.

I dati sarebbero per la maggior parte in binario, senza quindi necessità di creare indici particolarmente pesanti. Per ogni tabella si parla di circa 100-400.000 record, con un trend di crescita sostenuto.

[Ratatuia]

i binari non ti conviene salvarli normalmente su filesystem (tanto più se non hai bisogno di indici)? altrimenti rischi di rallentare in blocco il server database.

[webus]

Grazie Ratatuia, salvare i binari sul file system sarebbe un casino. Il DB caricherà dati solo da utenti remoti e avrei una dispersione di file per il disco... naaa. Non ci voglio nemmeno pensare.

Ma poi i SQL oggi non hanno problemi a gestire dati binari, ovviamente con l'accortezza di normalizzare al meglio il database.
Anche MySQL lo uso già da anni caricandoci i binari, ma in questo caso non sono mai arrivato ad avere DB di grandi dimensioni, come invece mi è capitato con altre piattaforme non opensource.

Per questo volevo sapere se qualcuno ha già avuto a che fare con grossi database su MySQL (ma anche PostreSQL andrebbe bene) e in caso se ha riscontrato problemi. Mi riferisco non solo a eventuali rallentamenti, ma pure a difficoltà di gestione di file di grosse dimensioni, come back-up troppo lenti, corruzione-recupero di file, verifiche e ottimizzazione delle tabelle, migrazione etc.

[Ratatuia]

il database per salvare dei files lo vedo un passaggio in più e anche un collo di bottiglia: per accedere ad un file devi accedere a mysql che deve accedere al file system. Con anche il percorso inverso. Rimango dell'idea che un paio di accorgimenti sia la soluzione migliore. Al massimo nel database tieni salvati i metadati di ciascun file per una migliore consultazione...


per il resto limiti di mysql sulla dimensione della tabella sono più che altro legati al sistema operativo, come puoi leggere qui http://dev.mysql.com/doc/refman/4.1/en/full-table.html

[webus]

Originariamente inviato da Ratatuia
il database per salvare dei files lo vedo un passaggio in più e anche un collo di bottiglia: per accedere ad un file devi accedere a mysql che deve accedere al file system. Con anche il percorso inverso. Rimango dell'idea che un paio di accorgimenti sia la soluzione migliore. Al massimo nel database tieni salvati i metadati di ciascun file per una migliore consultazione...


per il resto limiti di mysql sulla dimensione della tabella sono più che altro legati al sistema operativo, come puoi leggere qui http://dev.mysql.com/doc/refman/4.1/en/full-table.html

le connessioni saranno unicamente via socket http con collegamento ad Apache e da questo al backend, nessun passaggio dal file system.
Considera che quando si parla di centinaia di miglia di file il file system non è lo strumento migliore, tant'è che ormai pure gli OS più recenti usano sistemi di indicizzazione derivati dall'SQL.
L'unico aspetto negativo è che in caso di corruzione del file perdi tutto, è per questo infatti che chiedo informazioni sulla robustezza di queste piattaforme quando messe sotto stress dalla dimensione del file.
E per robustezza intendo anche e soprattutto capacità di recupero dei file.

Per il resto poi in questa configurazione hai solo che vantaggi. Ovviamente è solo una mia opinione.

Le specifiche ufficiali sì, le conosco. Ma io volevo sapere di eventuali prove sul campo.

[Ratatuia]

Originariamente inviato da webus
le connessioni saranno unicamente via socket http con collegamento ad Apache e da questo al backend, nessun passaggio dal file system.
Considera che quando si parla di centinaia di miglia di file il file system non è lo strumento migliore, tant'è che ormai pure gli OS più recenti usano sistemi di indicizzazione derivati dall'SQL.
L'unico aspetto negativo è che in caso di corruzione del file perdi tutto, è per questo infatti che chiedo informazioni sulla robustezza di queste piattaforme quando messe sotto stress dalla dimensione del file.
E per robustezza intendo anche e soprattutto capacità di recupero dei file.

Per il resto poi in questa configurazione hai solo che vantaggi. Ovviamente è solo una mia opinione.

Le specifiche ufficiali sì, le conosco. Ma io volevo sapere di eventuali prove sul campo.

per la robustezza in ambito mysql posso solo dire che conviene innodb invece che myisam. in generale penso che derivi dal motore di storage piuttosto che dal server in sè...

[webus]

UP