Ciao,
un possibile suggerimento che ti posso dare è quello di seguire, sebbene a grandi linee, ciò che viene fatto sui sistemi Unix tradizionali. Tutto si basa sul concetto di hash di un dato (se non sai cos'è un hash puoi facilmente trovare tutte le informazioni che vuoi in rete). In sostanza tu non salvi la password sul file, ma solo il suo hash. Quando l'utente inserisce la password tu calcoli "al volo" l'hash della parola inserita e lo vai a confrontare con quello salvato. Le proprietà delle funzioni di hash ti garantiscono che questo procedimento sia piuttosto sicuro. Oltretutto in Java non devi re-inventare la ruota: alcuni famosi algoritmi di hash (come SHA-1) sono già disponibili.

A questo punto tutto ciò che devi fare è proteggere il file dalla scrittura e hai un sistema abbastanza sicuro per l'autenticazione.