A prescindere dal fatto che le due linee che hai postato non hanno senso (metti in OR due condizioni identiche), dovresti cercare di essere più chiaro.
In generale, frasi come "Ho provato... senza successo" o "non funziona" o simili non aiutano ad aiutare.
Poi, se sei al punto di controllare cosa l'utente ha digitato in una TextBox, allora il programma è già avviato, quindi, casomai, puoi arrestarlo, non impedire che parta.

La funzione IsNumeric() è lo strumento giusto per valutare se un'espressione è numerica, basta applicarla alla giusta variabile o proprietà. Che cos'è Valore?