Due cose: tu stai usando un array di array: non te lo consiglio, visto che tutte le funzioni di PHP per gli array non funzionano su array i cui elementi sono a loro volta degli array; prova usando un array per il nome del file, un'altro per la dimensione, eccetera, o meglio ancora usa un array per la dimensione con chiavi i nomi file, un'altro per la data con chiavi i nomi file e così via, così puoi ordinarli per chiave e sei a posto.

Secondo, l'ordine in cui li vedi è quello naturale della directory, ovvero quello in cui le voci di directory sono salvate sul disco, che deriva sia dalla sequenza temporale di creazione che dal fatto che certi file siano stati eliminati nel tempo:

Creo tre file uno dopo l'altro, dir:

file1
file2
file3

Elimino file2:

file1
-
file3

Creo file4:

file1
file4
file3

Tutto chiaro?