Octave + Gnuplot fanno quasi tutto quello che fa Matlab.
Dipende l'uso: per il calcolo dei sistemi dinamici lineari è sicuramente più intuitivo e documentato Matlab.

Un altro software per fare matematica può essere Yacas: questo si occupa però di calcolo "simbolico", un po' come Mathematica.