ammesso che quello che vuoi fare non ha alcun senso.

Prova a fare un count degli oggetti, del tipo

codice:
Dim totaleoggetti as Integer = Me.controls.Count -1
e poi fai un ciclo for che va da i = 0 to totaleoggetti

e all'interno ci metti il For Each che utilizzi adesso.



Aggiungo.

Questo succede perché tu elimini i controlli mentre li leggi. Se ci fai caso, mettendo 10 bottoni sul form ( o combobox o qualsiasi altro controllo ) ne elimina solo 5 perché il controllo che viene eliminato cede il suo ID al successivo controllo.