A grandi linee potresti: mettere il pulsante nella parte SOUTH del BorderLayout predefinito del content-pane del JFrame. Poi nella parte CENTER (o NORTH .. dipende se vuoi che occupi tutto oppure no) sempre del content-pane puoi mettere un JPanel che ha un BoxLayout "verticale" (i componenti sono incolonnati) in cui disponi label, textfield, label, ecc...