Se non ho capito male... devi solo usare meglio le stringhe che passi alla JLabel, ovvero :

String s="<html>tuo testo formattato"+ tuaVariabile + "continuo del testo</html">