Devi usare un campo numerico.

INT(6) UNSIGNED

Altrimenti l'ordinamento sara' quello ascii e non numerico.