se devi leggere da un file puoi direttamente usare readline senza scomodare il tokenizer...