Ipotizzando che i numeri inseriti sulla TextBox vengano separati da una virgola.

Sostituisci

codice:
Dim Ignoranumeri() As Integer = {5, 9, 11, 20}
For Each i As Integer In Ignoranumeri 
    Numeri.Remove(i) 
Next
con

codice:
Dim j As Integer 
For Each s As String In TextBox1.Text.Split(",")
    If Int32.TryParse(s, j) Then 
        Numeri.Remove(j) 
    End If 
Next