Scusa la mia ignoranza ..... come hai fatto ad impostare una colonna del DataGridView di tipo numerica in modalità Design del DataGridView??
Ad ogni modo ... impostando la modalità di Sorting = Programmatic, credo tu possa ordinare le colonne un pò come più ti piace.
Se invece associ la DataGridView ad un origine dati .... allora il discorso cambia.

Facci sapere....
Ciao