Piccolo aggiornamento: ho scoperto che se caricate un file RTF e, subito dopo, un file TXT, le impostazioni del RichTextBox sembrano "ereditare" qualche caratteristica (Font e/o attributi) del file RTF precedente. Se, però, prima di caricare il file TXT si cancella il contenuto del RichTextBox le impostazioni di font e attributi rimangono quelle di default.
Non chiedetemi perché. 
Modificare quindi in:
If Buf = "rtf" Then
Form2.RichTextBox1.Rtf = FileReader.ReadToEnd
Else
Form2.RichTextBox1.Text = ""
Form2.RichTextBox1.Text = FileReader.ReadToEnd
End If
FileReader.Close()
FileReader = Nothing