Basta disabilitare l'avvio automatico di GDM al runlevel 2.

Per farlo da ambiente grafico:
vai nel menu sistema - amministrazione, scegli la voce "servizi" e dall'elenco togli la spunta da "graphical login manager GDM" (il mio è in inglese, magari in italiano è tradotto diversamente)

Da console installi il pacchetto "sysv-rc-conf":
sudo apt-get install sysv-rc-conf
poi lo esegui:
sudo sysv-rc-conf --level 026 gdm off

Se poi vuoi riattivarlo:
sudo sysv-rc-conf --level 026 gdm on

In ogni caso San Google ti aiuta sempre.