Ma scusa se il file contiene numeri in formato ascii perchè apri il file con 'rb'?
Prova ad aprirlo con 'r'