Ottimizzazione cartelle per un filesystem veloce

[emanueledg]

Ciao,
chiedo a voi sistemisti un parere sulla gestione dei files.

Un processo collegato ad una web application produce files in quantità elevata e sempre crescente.
I files vengono salvati su disco (non su DB).

Il DB gestisce la nomenclatura, tiene nota delle locazioni dei files e dei loro attributi, e decide anche quando creare una nuova directory in base a:
[list=1][*]criteri semplici come il mese/anno della creazione dei files;[*]criteri meno semplici come la giusta quantità di files per cartella.[/list=1]
Il secondo punto è quello che mi interessa: non avendo files di dimensione fissa, non posso stabilire dei parametri costanti per creare una nuova cartella.

:ignore:

Avendo per esempio 3000 piccoli files da 10KB l'uno tutti nella stessa cartella, avrei una bassa velocità di accesso ai dati.
Con 500 files di cui la metà di peso superiore a 10MB, il filesystem sarebbe ugualmente lento, dovendo gestire una cartella da 5GB in 500 files.

Per cui chiedo: quale è il miglior criterio che permette al filesystem di offrire performance apprezzabili considerando sia dimensione che numero di files per directory?

[nifriz]

Potresti fare un controllo incrociato, ossia creare una nuova cartella se superato un certo numero di file o una certa dimensione... Tipo ogni 250 file o 2,5 GB di dati crei una nuova cartella... ti piace come soulzione?


Bell'avatar

[emanueledg]

Originariamente inviato da nifriz
Potresti fare un controllo incrociato, ossia creare una nuova cartella se superato un certo numero di file o una certa dimensione... Tipo ogni 250 file o 2,5 GB di dati crei una nuova cartella... ti piace come soulzione?


Bell'avatar

Grazie!
È proprio quello che avevo intenzione di fare:

$max_size = 250000;
$max_files= 250;

if (filesize($dir_path) > $max_size Or count($dir_files) > $max_files) {
     // new folder...
} 

Ma non ho la minima idea di un valore concreto per i due limiti.
Pensi che 250GB e 250 files sono numeri validi?

[daniele_dll]

la dimensione non è importante più di tanto, invece lo è il numero.

Un numero inteliggente di distribuirli, che ritengo sia abbastanza casuale, è usare come nome del file un hash, ovvero md5(uniqid(microtime(), true)) e poi usare la prima lettera e poi le prime due lettere per definire le cartelle dove mettere il file

Ad esempio se l'hash è
abcdef1234567890..........

lo devi andare a mettere dentro
a/ab/abcdef1234567890..........

[nifriz]

Non so indicarti una dimensione precisa, così come per il numero di file... Dipende dalla macchina che utilizzi, OS, dimensioni del cluster, velocità dei dischi

L'unica cosa che mi sento di consigliarti è di fare dei test e cercare di capire quale sia la fascia di risposta migliore e prendere il valore intermedio...

Ad esempio se ti accorgi che 200 file lavorano bene con quasi tutte le dimensioni e 500 arrancano, un 350 è la scelta meno traumatica per tutte le possibilità che si presentano

[nifriz]

Originariamente inviato da daniele_dll
la dimensione non è importante più di tanto, invece lo è il numero.

Un numero inteliggente di distribuirli, che ritengo sia abbastanza casuale, è usare come nome del file un hash, ovvero md5(uniqid(microtime(), true)) e poi usare la prima lettera e poi le prime due lettere per definire le cartelle dove mettere il file

Ad esempio se l'hash è
abcdef1234567890..........

lo devi andare a mettere dentro
a/ab/abcdef1234567890..........

Non ho capito cosa vuoi fare? :master:
Magari è l'idea più fica del mondo, ma non capisco

[emanueledg]

Originariamente inviato da daniele_dll
la dimensione non è importante più di tanto, invece lo è il numero.

Un numero inteliggente di distribuirli, che ritengo sia abbastanza casuale, è usare come nome del file un hash, ovvero md5(uniqid(microtime(), true)) e poi usare la prima lettera e poi le prime due lettere per definire le cartelle dove mettere il file

Ad esempio se l'hash è
abcdef1234567890..........

lo devi andare a mettere dentro
a/ab/abcdef1234567890..........

Grazie Daniele
Potrei implementare le cartelle preimpostate relative alla data con sottocartelle casuali generate attraverso l'hash...
È una buona soluzione :yesss:

[nifriz]

Originariamente inviato da emanueledg
Grazie Daniele
Potrei implementare le cartelle preimpostate relative alla data con sottocartelle casuali generate attraverso l'hash...
È una buona soluzione :yesss:

CREDO DI AVER CAPITO ADESSO!
Si bella soluzione e ASSAI casuale

[daniele_dll]

E' una soluzione abbastanza comune. Anche squid per la cache usa una soluzione simile

[lion1810]

Originariamente inviato da nifriz
Non so indicarti una dimensione precisa, così come per il numero di file... Dipende dalla macchina che utilizzi, OS, dimensioni del cluster, velocità dei dischi

.. forse anche dal filesystem utlizzato??