E' possibile inserire tag html all'interno dei componenti swing com le JLabel, basta racchiuderlo tra tag <html></html>. Prova l'esempio sotto
codice:
JLabel label = new JLabel("<html>Sono una riga
Sono un'altra riga</html>");