allora...hai fatto tutto bene.. (volevo capire che avevi fatto, ci sono 1000 modi per istallare debian)
xorg è diventato modulare..cioè puoi installare solo i pezzi che ti servono ..quindi così facendo dovresti starci dentro tranquillo nei 500 mb..
puoi cominciare con apt-get install xserver-xorg-core xfontsbase
ma poi devi aggiungerci altra roba..il modulo per la tua scheda grafica , èer il mouse etc..viene una roba leggera..ma devi star li a studiartela..