dai un dpkg-reconfigure xserver-xfree86 e non attivare il framebuffer prova a dare anche un
apt-get install xserver-xfree86 xserver-common xfree86-common xbase-clients xfonts-base xfonts-scalable xfonts-75dpi xterm
per vedere se manca qualcosa
per partire da consolle la cosa piu semplice in genere è rimuovere il session-manager

apt-get remove kde gdm xdm