Il file comunque lo devi riscrivere completamente. Puoi leggere tutto quanto, metterlo in memoria, fare la/e sostituzione/i in memoria e poi riscrivere tutto su file oppure leggere man mano (es. una riga o blocco di caratteri per volta) e "al volo" scrivere ciò che leggi eventualmente modificato.
Quale dei due approcci dipende da cosa/quanto devi cambiare, dal tipo e della struttura del file.