Adesso non ricordo dove installa X11 il tuo OS ma mi pare che puoi levare tutti i file appartenenti ad X11 con Desintaller (ma non ci metteri la mano sul fuoco..)!
Oppure prova su /Applications/Utilities/!
Ma.. perche' ti serve X11? Cosa devi farci girare?