Ipotizzando che i numeri inseriti sulla TextBox vengano separati da una virgola.
Sostituisci
concodice:Dim Ignoranumeri() As Integer = {5, 9, 11, 20} For Each i As Integer In Ignoranumeri Numeri.Remove(i) Next
codice:Dim j As Integer For Each s As String In TextBox1.Text.Split(",") If Int32.TryParse(s, j) Then Numeri.Remove(j) End If Next