No, non è che non ci sia soluzione, è che probabilmente non hai scelto il layoutmanager migliore per la tua interfaccia grafica...

Se prendi per esempio un gridlayout con 5 colonne e 2 righe, in una finestra da 500 x 500 le colonne saranno larghe 100 e le righe alte 250... in altre parole, se schiaffi dentro una cella un bottone, questo la occuperà per intero... devi scegliere con cura il layout manager