Per quello che devi fare tu, cioè qualcosa stile bbcode ci sono molte cose già fatte o altrimenti puoi usare un rudimentale javascript.
Per quello mostrato sull'immagine allegata si usa un <iframe> che modifichi con il contenteditable di javascript. Puoi leggere una guida su javascript.html.it.

e buona fortuna!