Nella maniera classica, con un while per leggere tutte le linee fino alla fine. Ogni riga splitti per spazio e a seconda della lunghezza sai se e' una parola o una coppia doc-freq
codice:
BufferedReader in = new BufferedReader(new FileReader("tuoFile.txt"));
String line = null;
String[] tmp;
while((line=in.readLine())!=null) {
   tmp = line.split(" ");
   if(tmp.length==1) {
      //Parola
   } else if(tmp.length==2) {
      //Coppia Documento-Frequenza
   } else {
      //Formato riga non valido
   }
}
in.close();