O anche Environment.GetFolderPath(Environment.SpecialFolde r.LocalApplicationData).
Meglio comunque in una sottocartella con il nome della tua applicazione.
Se vuoi che le impostazioni siano accessibili dall'utente corrente su qualunque PC dell'eventuale dominio passa a GetFolderPath Environment.SpecialFolder.ApplicationData, oppure usa Application.UserAppDataPath.