Devi posizionare il cursore nella JTextArea alla fine usando il metodo setCaretPosition(). Se la tua JTextArea si chiama jta, ogni volta che aggiungi del testo, dopo richiami questa riga:
codice:
jta.setCaretPosition( jta.getDocument().getLength() );
Ciao.