Per chi fosse interessato... un amico mi ha aiutato in questo modo:

occorre impostare come testo del codice html...

JLabel test = new JLabel("<html>1°riga
2°riga</html");