Ok.Ora molto più chiaro ( anche se avevo inteso già una cosa simile ).
Allora, immagino che il pannello dei contatti è in GridLayout dedotto dalle immagini.
Sto pensando se una JList ti permette di inserire delle immagini, in questo modo non ti devi più preoccupare di nulla....Mi documento e mi faccio risentire.

Per il resto purtroppo se è un GridLayout si auto-adatta e non ci puoi fare nulla....al più utilizzare diversamente il Layout, come per esempio una funzione che all'aggiunta di un nuovo contatto crea il bounds personalizzato ( quindi con un Layout = null ).
Spero di esser stato chiaro.
Cmq, mi faccio risentire.