devidisinstallare con --purge i driver che hai installato con apt

.... driver e glx naturalmente

a volte non basta e si devere rimuovere anche i demoni che avviano nvidia

update-rc.d nvidia-kernel remove ad esempio

locate rdc.d | grep nvidia ti dice i servizi che partono per nvidia

man update-rc.d per ulteriori esempi