Un linguaggio di mark-up per descrivere formule matematiche esiste e si chiama MathML:

- http://www.w3.org/Math/

Non so però quale sia il grado di supporto nei maggiori browser oggi (puoi dare un'occhiata alla Pagina di prova).

Le alternative che mi vengono in mente sono due:
  1. usare un'immagine, ma sarebbe scorrettissimo dal punto di vista logico e semantico (da usare quindi solo in casi estremi);
  2. usare l'elevazione alla 1/indice-della-radice; ad esempio:
    codice:
    (a+b)^1/27