Sì, il tuo

Quando metti un immagine nella PictureBox, blocchi il file da cui prendi l'immagine. Dovresti aprire il file, salvare il contenuto come bitmap, chiudere il file e assegnare il bitmap alla proprietà Image della PictureBox. Non dovresti avere problemi a cancellare il file originale facendo così.