Normalmente funziona in questo modo:
Se non esiste il file l'applicazione prende i valori di default, che sono quelli schiantanti nel codice del settings.designer.vb

Il file user.config viene scritto solo se vai in modifica del valore da programma.
Dovrebbe gestire automaticamente il fatto che c'è o non c'è il file.

Dovresti verificare se l'applicazione va in errore quando cerca di leggere il valore o scriverlo.