si, lo puoi fare in mille modi:

al keypress del + leggi il contenuto della text area, se l'ultimo carattere è un numero permetti la stampa del +, altrimenti no.
oppure usi una variabile di controllo booleana inizialmente su false, quando premo un numero va su true, quando premo un simbolo aritmetico se era true stampo il carattere e va su false altrimenti non lo stampo (e.preventDefault su js o jQuery)