La regexp diventa:
/[^\d\+\- ]/g

Oppure, piu` precisa (da testare, potrebbe avere effetti collaterali):
/^[^\d\+\- ][^\d]*$/