No, l'html lo puoi inserire solo in alcuni componenti. Non puoi utilizzarli in JTextField, JPassworFieldd, JFormattedField, JTaxtArea e JTaxtPane (in questi ultimi due per andare a capo puoi usare \n).
Se vuoi un componente analogo alla JTaxtArea che ti permetta di specificare l'html puoi usare un JEditorPane.
Per approfondimenti puoi guardare la guida swing della sun a questo indirizzo.
Uno degli ultimi capitoli parla dell'uso di html nei componenti Swing.
Prendo nota per usi futuri!

Grazie