Usa un array inserendo le parole che leggi in modo ordinato nello stesso. Se mantieni l'array ordinato, puoi facilmente cercare la parola per vedere se esiste (ad esempio, con una ricerca binaria). Alla fine potrai scrivere l'array ordinato nel file di destinazione, sicuro che le parole saranno presenti una sola volta.