Eliminare gdm in fase di avvio? Prova ad eliminare, ad esempio nella directory /etc/rc2.d/ (supponendo che 2 sia il tuo runlevel predefinito), i link a gdm (dovresti averne 2, uno che inizia per S = start e uno che inizia per K = kill).
Oppure in /etc/inittab ti fai un runlevel personalizzato, ad esempio il 4, in cui fai partire tutto tranne l'ambiente grafico.