dovresti avere i glx di nvidia installati altrimenti non credo che vadano i driver potrebbe essere anche questo il problema

apt-cache search glx | grep nvidia


xserver-xorg-video-nv lascialo perche nv come driver va benissimo in alternativa

semmai togli linux-restricted-modules-2.6.22-14-generic nvidia-kernel-common
per il resto lascia pure