Perchè non fai così.

Realizza un KeyListener da associare alla tua JTextArea (in generale meglio un javax.swing.text.JTextComponent) nel quale effettui questa logica:

Se il carattere digitato è un carattere comando non fai niente, dove per carattere comando intendo RETURN, BACK_SPACE, ALT, e altri

Altrimenti se il carattere è un carattere tastiera (alfanumerico + caratteri speciali + punteggiatura ...) allora:

Se il carattere non è Digit sottrai al testo del componente l'utlimo carattere inserito.

Tali operazioni li compi sull'evento keyReleased del KeyListener.

Ti ricordo che per controllare il carattere digitato devi fare riferimento al KeyEvent passato in input al metodo keyReleased grazie ai metodi getKeyChar(), getKeyCode().

Leggiti le api per maggiori info.

Si tratta di uno spunto, magari possiamo approfondirlo poi.