A parte che potresti valutare il fatto di non includere la grafica, visto che si tratta di un server, comunque direi che ci sia qualcosa che non va in xorg.conf, forse carichi il driver sbagliato per la tua scheda video.