Il file che contiene le impostazioni viene creato in un percorso con un hash che dipende da vari fattori...adesso non ricordo, se ritrovo il link a msdn lo posto.
Comunque, in realtà non si cancella niente ma semplicemente si crea un nuovo percorso con un nuovo file per via delle modifiche all' hash di sopra. Le cartelle con il nuovo percorso si trovano in "utente\appdata\local\nome programma", ogni cartella avrà un file user.config che contiene le "impostazioni utente".
Da codice si può risalire al percorso e al file user.config del programma in esecuzione, credo che potresti lavorare su questi ma penso verrebbe fuori una cosa senza senso...
Non avendo approfondito più di tanto non escludo che quanto sopra possa avere una soluzione semplice o "personalizzata".
Io ho scelto la via più semplice, per me, cioè abbandonare my.settings per un file xml (o quello che preferisci) posizionato in un percorso "statico".
Di più non so dirti...aspetta qualcuno che sa esattamente di cosa si stà parlando altrimenti prova a documentarti su msdn.
ciao