Una soluzione ORRIBILE che mi è venuta in mente

Dim IsNum As Boolean = True
Try
Dim tmpDbl As Double = CDbl(TextBox1.text)
Catch ex As InvalidCastException
IsNum = False
End Try

Ma controlla solamente se nella textbox c'è un numero (es "123123") ma non se ci sono gruppi di numeri (es "12 3 123") in questo caso potresti fare uno split sugli spazi e poi un "for each".
Ciao!