se il pacchetto che compili ha un proprio header guarda se devi compilare qualcosa all'interno del pacchetto

/X11/xlib.h non è un percorso normale

al limite prova per vedere a fare un link provvisorio

ln -s /usr/include/X11/ /X11/