supponiamo che leggi il nome del file sulla variabile nomefile:

codice:
var nomefile = /* leggi dal campo del form */

if (nomefile.match(/^([^\.])*?\.([^\.]){1,3}$/)) {
    alert('ok');
} 
else {
    alert('no');
}