al posto di stampare tutto al volo, metti in un array i nomi delle directory, come indice usa il dato che ricevi da filemtime($file) che è il timestamp di creazione/modifica, poi usa ksort per ordinare l'array e infine stampane il contenuto.

ciao