senza disinstallare gdm, puoi disattivarlo con rcconf.

# apt-get install rcconf
# rcconf
e scegli quali servizi disabilitare.