per il JPanel contenitore usa il GridLayout. Fai una colonna divisa in tante righe quanti sono i JPanel da buttarci dentro