E` una cosa complessa, che richiede conoscenze che io avevo per IE5.5, ma che poi non ho approfondito. Comunque si deve usare uno degli eventi legati alla tastiera (onKeyPress, onKeyUp, onKeyDown).
Puoi vedere una vecchia discussione citata nei link utili (in rilevo in testa al form).

Ma la cosa migliore e` usare gli strumenti standard: togliere il submit dallo script e lasciarlo nel form (che ti facilitano tra l'altro l'accessibilita` alle tue pagine da qualsiasi browser).

In tal caso la funzione va chiamata:
<form ... onSubmit="return modulo();">

e nella funzione ci deve essere il return true nel caso il form deva essere spedito e return false nel caso in cui la spedizione deve essere bloccata.

Ciao
Michele