Ciao!
Librerie dedicate in particolare alla matematica non ne conosco, però potresti dare un'occhiata ad opengl.
Tra i vari vantaggi offre un pacchetto di facile installazione per devcpp.