Intanto, al posto tuo, io caricherei il contenuto del file in memoria.
Assumendo allora che il contenuto del file sia memorizzato in una stringa, potresti fare una cosa del genere

codice:
int main()
{
	char * str = "1358";
	int arr[4];
	int i;

	for (i=0; i<4; i++) 
	{
		sscanf(str++,"%1d",&arr[i]);
	}

}
Dove N=4.
Devi assolutamente accertarti che N non vada oltre i limiti consentiti.