Gli oggetti prendono le icone. Per creare una icona da un'immagine usa la classe ImageIcon. Poi usi il metodo setIcon, che pero' non e' posseduto da tutti i componenti.

Se invece vuoi che l'icona sia "nelle vicinanze" beh...
Io di solito ficco l'icona in una Label, e questa in un JPanel insieme al componente.