Puoi risolvere componendo due layout diversi: si può impostare il BorderLayout per il frame principale, poi a "NORTH" si aggiunge la TextBox e a "SOUTH" un JPanel con layout GridLayout che dovrebbe fungere proprio da tastierino numerico (quindi ad esempio 4x4, 9 cifre più i tasti per le opeazioni).