prima prova a riconfigurare xserver uscendo da x ( console login dal menu di kdm o da gdm)

dpkg-reconfigure xserver-xorg

ti permette di rifare la configurazione ex-novo

altrimenti puoi provare a commentare tutte le varie sezioni che non riguardano il mouse usb
tipo mouse seriali ps2 wacom Touchpad , , , ,