fai come ti ha detto mschievano, apri /etc/inittab e mofifica il runlevel di default, in modo che x non parta all'avvio del sistema. A un certo punto dovresti avere questa riga:
id:5:initdefault: (potrebbe anche essere id:4:initdefault: )

cambiala in:

id:3:initdefault:

ciao