Questo dipende dal layout del pannello. Il BorderLayout espande fino ad ccupare tutto lo spazio. prova a creare un JPanel p (che per default avrà un FlowLayout), aggiungi il pulstate a p e poi aggiungi p là dove aggiungevi il pulstante.