In alternativa, se non devi usare la fgets leggendo tutta la riga, puoi leggere i singoli valori, molto più semplicemente così

codice:
	FILE *fr = fopen("file.txt", "r"); 


	for(i=0; i<N; i++)
		for(j=0; j<N; j++)
			fscanf(fr, "%d", &matrice[i][j]);


	fclose(fr);