mi pare che basti eliminare alll'avvio , in runlevel3, il servizio gdm

e poi lo fai ri-partire quando vuoi