Vai tranquillo. Se si tratta di numeri puri e le operazioni che devi compiere non richiedono l'uso della libreria Math javascript è una scheggia con cicli anche fino a parecchie migliaia. Se invece ti trovi a dover usare operazioni come radici quadrate, oppure se devi convertire stringhe in numeri, etc., le cose cambiano...