non conosco ubuntu, ma mi pare che i driver nvidia vadano installati con il server X non attivato.

Prova ad installarli dopo aver dato un

sudo pkill -9 X

in una console