Giusto un esempio base per dare l'idea, poi ci sono molte cose da cambiare, stile a parte (tipo se non hai un reference per ogni bottone non potrai aggiungerci degli action listeners).

codice:
class Calculator extends JFrame
{
  private JLabel display;
  private JPanel numericKeypad;
  
  public Calculator()
  {
    setSize(/* dimensioni qualsiasi */);
    setLayout(new BorderLayout());


    display = new JLabel("0");
    display.setHorizontalAlignment(JLabel.RIGHT);
    add(display, BorderLayout.NORTH);


    numericKeypad = new JPanel();
    numericKeypad.setLayout(new GridLayout(4, 4));

    /* prima riga del tastierino */
    numericKeypad.add(new JButton("7"));
    numericKeypad.add(new JButton("8"));
    numericKeypad.add(new JButton("9"));
    numericKeypad.add(new JButton("/"));

    /* stessa cosa per le altre 3 righe */

    add(numericKeypad, BorderLayout.CENTER);


    setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
    setVisible(true);
  }
}