Aggiungi un KeyListener alla TextField. Il KeyListener dovrebbe implementare solo il metodo keyTyped() lasciando vuoti gli altri due metodi:

codice:
   public void keyPressed(KeyEvent ke) { }

   public void keyReleased(KeyEvent ke) { }

   public void keyTyped(KeyEvent ke) {
      char c = ke.getKeyChar();
      if ( !Character.isDigit(c) ) ke.consume();
   }
Ciao.