Invece di creare la matrice cosi:
double mat[MAXCON][MAXVAR];

creala dinamicamente, ad esempio con malloc(size_t n)
http://www.cplusplus.com/reference/cstdlib/malloc/