Associa ai tre JButton per il bold e italic lo stesso ascoltatore e al suo interno fai una cosa simile:

codice:
fontSize=(bold.isSelected()?Font.BOLD : 0)+(italic.isSelected()?Font.ITALIC:0);

font = new Font(fontFace, fontStyle, fontSize);
Se vuoi applicare le modifiche solo ad una parte di testo devi usare un JTextPane .

CIauz