Per i css non so, sono sicuro per i tag di formattazione testo ([b],[i],<font>,ecc.), ma non so se accetta tag di altro tipo, non credo.
Per l'icona
codice:
Image img = Toolkit.getDefaultToolkit().createImage("percorso/tuaImg.jpg");
tuoFrame.setIconImage(img);