Puoi passare "new ImageIcon" direttamente al costruttore di JLabel, del tipo:
codice:
JLabel myLabel = new JLabel(new ImageIcon("path\immagine.jpg"));
Dopodichè, mio consiglio personale, se ti trovi incasinato con il layout imposta anche il parametro
codice:
myLabel.setPreferredSize(new Dimension(int width, int height));
così sei sicuro che la label rimane della stessa dimensione anche se non contiene ancora alcuna immagine (giusto per tenere calmo il layout senza continui ridimensionamenti a runtime che ogni tanto rompono un pò).

A presto