TableRowSorter ha tutta una sua logica per stabilire come fare le comparazioni, è tutto descritto nel javadoc di questa classe.
Innanzitutto bisognerebbe vedere che tipo di dato c'è in quella colonna ma sopratutto cosa restituisce getColumnClass() del model per quella colonna.

Lo dico chiaramente: non è così banale. Precisa un po' di cose ma sopratutto leggi bene la logica che usa TableRowSorter per stabilire come fare le comparazioni.