Ho risolto con questo codice subito dopo la gestione della CommonDialog, praticamente controlla l'esistenza del file e se esite già lo elimina :
FileInQuestione = Dir(CommonDialog1.FileName)
If FileInQuestione <> "" Then
Kill (CommonDialog1.FileName)
End If