Questo legge tutto il file in binario dato che si usa fs.Length, ma tu puoi usare il numero di byte che ti servono ...

I byte letti sono nell'array ...

codice:
Dim fs As FileStream
Dim bF() As Byte

fs = File.OpenRead("C:\file.dat")
ReDim bF(fs.Length)
fs.Read(bF, 0, fs.Length)
fs.Close()