Ho capito dove stava il problema. Ho ripristinato la situazione originale del testo dell'articolo, cioè con textile disabilitato e senza usare direttamente le entità.
Ho fatto stampare al plugin i dati in ingresso dal contenuto del tag, ed ho visto che i dati erano corretti ed ancora privi di entità. Ho guardato più in basso nel plugin ed ho visto che c'era uno strip_tags: evidentemente, oltre a vedere in <math.h> un tag lo vedeva anche nel segno < seguito senza spazi bianchi da un qualche contenuto. Solo che non trovava più la fine di questo tag e strippava tutto il resto del documento.
Ho risolto rimuovendo dal plugin il comando strip_tags.