Il problema può essere causato da explorer che tiene "occupato" il file sorgente e, quando copi, l'errore non trappato ti fa cadere il servizio.

Non ho provato ma potresti modificare così

codice:
                Dim retry As Boolean = True

                While (retry)
                    retry = False
                    Try
                        File.Copy(e.FullPath, destFileName)
                    Catch
                        retry = True
                    End Try
                End While