prova così, potrebbero esserci errori,
all'onblur del campo:

checkFile(this);


function checkFile(campo){
file = campo.value;
if(file != "" && file.length>4){
valore = file.substr(-3);
if(valore!="txt")
alert("E' possibile inserire solamente file .txt");
else
campo.focus();
}
}