ecco uno script che fa al caso tuo

codice:
<script type="text/javascript">
function controllo_campo_num(campo,tipo)
{
	var lunghezza = campo.value.length;
	var str = campo.value;
	var strfinal="";
 	var i=0;
 	for( i=0 ; i < lunghezza ; i++ )
 	{
 		var codascii=str.charCodeAt(i);
	 	
		if ( codascii == 96 || // `
			 codascii == 39 || // ' 
			 codascii == 34    // "
		) 
	 	{
	  		strfinal = strfinal;
	 	}
	 	else
	 	{
	  		strfinal = strfinal + String.fromCharCode(codascii);
	 	}
	}
	campo.value = strfinal;
	return true;
}
</script>


<input id="numero" onkeyup="return(controllo_campo_num(this,this.name))" name="numero" type="text"/>