Per leggere in modo corretto i valori float usa la fscanf() in questo modo
codice:
fscanf( fp, "%G", &mat[i][j] );