Nella ToolBox, Tra le "finestre di dialogo" seleziona FolderBrowserDialog e trascinalo sulla Form che ti sei costruito.
Fai doppio click sul pulsante "Sfoglia" e scrivi al suo interno una cosa del genere:
codice:
FolderBrowserDialog1.SelectedPath = Application.StartupPath
If FolderBrowserDialog1.ShowDialog() = Windows.Forms.DialogResult.OK Then
FolderBrowserDialog1.SelectedPath' rappresenta la cartella selezionata
'qui inserisci il codice per leggere i file presenti nella cartella selezionata
'fai una piccola ricerca(adesso non ho il codice sotto mano).
End If