Credo che, a questo punto, tu debba gestire non solo l'actionPerformed (che di solito non indica la pressione di INVIO, ma il click del mouse), ma anche il keyPressed del KeyListener.


Ciao.