Ma a quale "cancel" ti riferisci?
In VB.NET non esiste alcun parametro cancel in nessuno degli eventi KeyXXX , caso mai si usa Handled.
Così come non esiste un evento value_change nel NumericUpDown; che si chiama ValueChanged.
Per cui, usi gli eventi KeyXXX con Handled oppure l'evento ValueChanged NumericUpDown:
In tutti i casi il solo modo è tenerti memorizzato il valore iniziale e ripristinarlo quando ti serve.