Devi tenere presente che i due caratteri sono in esadecimale nel testo. Puoi scrivere

Dim b As Byte = Convert.ToByte(RichTextBox1.Text.Substring(pos, 2), 16)

per ottenere questa conversione dall'esadecimale al valore decimale byte.