Ah già, devi aggiungere anche
codice:
-vsync +hsync
alla modeline impostata.

Ovviamente devi riavviare l'interfaccia grafica per vedere la nuova risoluzione.
Se così non fosse, posta la sezione "Screen" del tuo xorg.conf.