Sposta tutti i button di cui ti interessa verificare il colore in un Panel, così da separarli da altri buttons.

codice:
        For Each c As Control In Panel1.Controls
            If TypeOf c Is Button Then
                Debug.WriteLine(c.BackColor.ToString)
            End If
        Next
Sostituisci il Debug.WriteLine con quello che vuoi