non è che si capisca... cioè, il comportamento normale è che la JTextArea ti mostri l'ultima riga e quindi la scrollbar dello JScrollPane vada tutta in basso. Se vuoi invece vedere sempre la prima riga inserita, ti basta, senza troppi sbattimenti, aggiungere un

ta.setCaretPostion(0); dopo ta.append(...) dove ta è la tua JTextArea