ma se dai apt-get remove --purge X11-common ti purga solo X11-common o anche tutte le dipendenze che vengono rimosse ???
Nel secondo caso potresti reinstallarlo e appunto re-eliminarlo con il --purge...