non e' corretto che si comporti cosi' Xorg.
prova a ricreare il problema prendendo nota di quel che fai e nel contempo tieni aperto qualche terminale in "tail" sui log di sistema