Allora si parla di "accesso random" e non sequenziale e lo puoi fare ... un esempio

http://www.example-code.com/vbdotnet/random-access.asp

Ovviamente, al posto dei 100 byte, devi considerare la lunghezza del record tuo ...

Un altro esempio (forse migliore) ... http://www.codeproject.com/KB/files/ybrandomfile.aspx