IMHO a un server la prima cosa che non serve sono l'ambiente grafico con tutti i tool grafici che invece tu vuoi perchè non vuoi perdere tempo a configurare a mano o non lo sai fare, io ho una linuxbox minimale con Slackware messa su con l'installazione minima e poi configurata interamente da remoto con ssh.