ciao,
usa un FolderBrowserDialog per impostare la cartella dalla quale prendi le immagini, una volta impostata, assegni tutti i nomi file di tipo immagine (tramite Directory.GetFiles(cartella)) in una lista di tipo string a livello di classe, quando premi il bottone avanti o indietro assegni il percorso dell'immagine alla picturebox usando come indice per la lista un int che incrementi o decrementi.

se ti guardi i componenti citati (nel caso non li conosca già) puoi tranquillamente farlo.

se hai problemi nella stesura del codice, posta ciò che non hai capito con relativo codice implementato.