Inizio con il chiederti perchè hai bisogno della Grafica su di un Server... tanto vale installare l'edizione Desktop e risparmiarsi tanti problemi.

Cmq, xinit cerca di connettersi al server X, che non è nient'altro che il server Grafico (che gira in localhost, ossia sul tuo PC), che è la base di "librerie" (passami il termine) alle quali si appoggiano KDE, GNOME, XFCE....

Quindi oltre XINIT devi installare tutti i meta pacchetti grafici..