puoi provare a rinominare xorg.conf e rifare la la configurazione al riavvio con dpkg-reconfigure xserver-xorg

altrimenti puoi togliere da teminale libx11 xserver-xorg libx11-data con il --purge

dovrebbe toglierti quasi tutto po reinstallando magari va a posto