Visto che stai andando a leggere un file di testo e che dovrai andare a fare la lettura per righe, ti viene più comodo usare un BufferedReader a cui dare in pasto il FileReader e quindi utilizzare il metodo readLine offerto da BufferedReader.

Dividendo il problema in sotto problemi:
- leggere il file, una riga alla volta;
- interpretare il conenuto della riga: StringTokenizer può venirti incontro.
- fare la somma degli elementi di ciascuna riga (dove dei andare a salvare questa informazione?)
- ritornare i risultati ottenuti.

Occhio che tecnicamente, non stai leggendo un file binario, ma un file che rappresenta una matrice i cui elementi a loto volta vogliono rappresentare numeri scritti nel sistema binario... il risultato della somma dovrà essere convertito in "formato binario" a sua volta?