Ah ... allora e' tutta un'altra storia ...

C'e' un equivoco di fondo ... l'esadecimale e' solamente un sistema di rappresentazione del dato, NON e' una proprietà insita nel dato ... Quindi, la lettura dal file avviene A PRESCINDERE dall'esadecimale ma dipende solamente dal TIPO di dato (il char nel tuo caso).

Solo dopo averlo letto, potrai visualizzarlo come vorrai, ma il dato sarà sempre quello.

In definitiva a te basta scrivere

infoFile[indRowFile++] = (char)fgetc(input_file);

per leggere correttamente il singolo carattere.