essendo contrario al display manager io farei cosi'.

vi .xinitrc (nella tua home)

inserisci la riga

exec startxfce4

salva, esci e lancia con startx