Se non ti servono i singoli byte e ti serve un valore con il segno, puoi semplicemente usare

codice:
short int v;

fread(&v, sizeof(v), 1, infile);