nel codice che hai postato non c'è traccia di ajax
se vuoi bloccare il submit non devi usarle l'onclick del form ma l'onsubmit
codice:
onsubmit="return controllaInput()"
e poi usare un <input type="submit"

se lo vuoi fare all'onclick del button devi modificare la funzione (mettendoci la tua chiamata ajax)

il valore di
document.numeri.num1.value
è sempre una stringa, se vuoi fare un confronto numerico devi trasformare in intero
codice:
parseInt(document.numeri.num1.value,10)