Con questa espressione "\d{4}" imponi l'inserimento soltanto di numeri; il numero tra le graffe indica quanti numeri.

<asp:regularexpressionvalidator
ControlToValidate="annoMostra"
Display="Dynamic"
ErrorMessage="Sono ammessi solo quattro numeri"
ValidationExpression="\d{4}"
runat="server" />

per ammettere solo caratteri mi pare che basti sostituire d con w.