Ciao,
forse testi solo il primo carattere digitato?

Prova a gestire in un blocco try-catch la conversione a numero del contenuto della text-box:
se si verifica un'eccezione non è un numero, altrimenti lo è.

Ciao