è per la versione, l'order by lo puoi usare dalla ver 4.0.0 [http://dev.mysql.com/doc/mysql/en/delete.html]


consiglio un aggiornamento
anche perché la 3.23 è piuttosto vecchiotta


p.s. in alternativa, per il tuo problema, fai una select che ti prende i record più vecchi e con un ciclo li cancelli, anche se non mi sembra una soluzione ottimale quando i record diventeranno molti