non c'entrano niente tipo di compositor o scheda video o xgl,è un problema con le impostazioni di vlc predefinite e il compositing.
ad esempio io ho una scheda nvidia,non uso xgl ma avevo lo stesso problema con il compositor integrato di xfce.
lieto che tu sia riuscito a risolvere da solo