Esattamente. <span> è comunemente usato per formattare porzioni di testo, dato che il tag <font> non è più ammesso. Ma questo non significa che abbia un significato semantico. Se ci pensi, potresti formattare un testo anche inserendolo tra tag come [i] e [b] e modificando le loro regole di stile. Ma mentre [i] e [b] hanno un significato semantico, <span> non ce l'ha e viene usato quindi in modo più "generico". Inoltre, proprio perché privo di significato semantico, viene usato nelle tecniche di image replacement perché la sua presenza non altera il significato dei contenuti (browser testuali e screen reader lo ignorano, così come ignorano i <div>).

La semantica, come diceva indigoindigo, è una cosa che il validatore non può controllare. L'uso semantico e corretto dei tag è lasciato a chi scrive il codice XHTML. Non c'è nulla di sbagliato nell'inserire un testo direttamente in un <div> dal punto di vista strutturale, ma il significato dell'informazione testuale in questo modo non è enfatizzato, perché il testo è contenuto in un box "anonimo", che non lo identifica come un paragrafo, un titolo, ecc.