Xhtml5 è html5 serializzato, brutta parola per intendere che il codice viene passato come xml, in pratica costruisci una pagina html5 ma la passi come xml con la direttiva application/xhtml+xml, ovviamente come detto da @MicheleWT i tag vanno chiusi perché comunque il codice va passato well formed.
Il motivo per cui si fa questo però non è chiaro dato che il W3C comunica che comunque il DOM viene costruito in ogni caso e allo stesso modo.
In questo caso si parla di poliglot language, ma attenzione, come specificato in fondo alla pagina con un avviso in giallo su sfondo rosso, quindi pericolo, This is a work in progress! For the latest updates from the HTML WG, possibly including important bug fixes, please look at the editor's draft instead.
In altre parole, lasciate stare se non per caso di studio o per lavori dove viene spefificatamente richiesta tale prerogativa del linguaggio, ma sempre facendo molta attenzione, in pratica camminate sulle uova, tutto può cambiare da un momento all'altro.

Nella pagina su HTML5 ad un certo punto si legge che:
According to the XML specification, XML processors are not guaranteed to process the external DTD subset referenced in the DOCTYPE. This means, for example, that using entity references for characters in XHTML documents is unsafe if they are defined in an external file (except for <, >, &, " and &apos.
Ovvero: che per le entità di codice (come il nobrake space di cui si parlava prima) ad eccezioni di alcune non sono garantite le "traduzioni" se non sono riportate nella DOCTYPE, e la DOCTYPE di HTML5 è volutamente vuota; a dire il vero si parla di documenti comunque passati come XML.
comunque passando in UTF-8 si risolve il problema.