Puoi testare il value dell'input file.
in una situazione come questa:
<form name="myform" enctype="multipart/form-data">
<input type="file" name="attachImgTesto">
</form>
Il codice potrebbe essere:
var img = document.myform.attachImgTesto.value;
var estensione = img.split(".");
if (estensione[1]!="gif" &&
estensione[1]!="jpg" && estensione[1]!="jpeg" )
{
alert("£errFormatoImg£");
f.attachImgTesto.focus();
return false;
}