Ho un dubbio.
Verifica se ti funziona meglio usort o uasort, che funziona allo stesso modo ma tratta diversamente le chiavi. Forse con la prima ti perdi gli indici dopo l'ordinamento.