Puoi utilizzare il metodo setIcon(), nel costruttore del JInternalFrame (se hai una classe che estende JInternalFrame) oppure direttamente sull'oggetto:
codice:
mioJInternalFrame.setIcon( true );
Ciao.