Se hai una stringa

Dim s As String

che contiene "A6"

s = "A6"

e un array di byte

Dim array(100) As Byte

la converti nel primo byte dell'array semplicemente scrivendo

array(0) = Convert.ToByte(s, 16)

Basta che, da solo, provi ad implementare un ciclo per gestire tutto il testo del richtextbox ...