Quindi devo scrivere:
function submitForm(){
if (document.formset.titolo.value==''){alert('Il Campo titolo non è compilato');return false;}
if (document.formset.articolo.value==''){alert('Il Articolo titolo non è compilato');return false;}
if (document.formset.file1.value==''){alert('Campo non compilato');return false;}
if (document.formtest.action!=''){
document.formtest.encoding="multipart/form-data"
document.formtest.submit()
}else{alert('Seleziona un esempio');}
}