Grazie a tutti, in effetti inizialmente devo aver fatto qualcosa di sbagliato, perchè il file continuava ad essere cancellato.
Il fatto che non possa essere manipolato con le classi di System.Configuration non mi sembra sia un problema, visto che si tratta di un file di configurazione e come tale ha senso impostarlo "a mano" a priori.