ho un form con un input in cui inserire obbligatoriamente il numero di telefono

<input type="text" name="telef">

nel mio javascript di controllo ho fatto

if (document.modulo.telef.value == "" || document.modulo.telef.value.length < 7)
{
alert("Inserire telefono valido!")
document.modulo.telef.focus()
document.modulo.telef.select()
return false;
}

ora vorrei fare un ulteriore controllo che dopo aver tolto \ / - e gli spazi " "...
possa applicare la funzione isNaN() per verificare che vi siano solo numeri...

come posso fare?