Il resto lo ottieni con l'operatore mod (penso anche in yabasic, che non conosco).
resto = n MOD 3
Perchè dici che non va? Forse l'operatore MOD non c'e' in yabasic?
EDIT: ho visto adesso dalla documentazione su Internet, che in yabasic mod è una funzione ... quindi la devi usare così
resto = mod(n, 3)