Il NumberDecimalSeparator lo puoi leggere ma non settare come hai visto. Se il problema è di impostazioni internazionali diverse, setti quelle che tu utilizzi e non hai problemi, altrimenti devi crearti un nuovo oggetto NumberFormatInfo ed impostare i separatori, quindi utilizzarlo per le operazioni in cui ne è richiesta la gestione. Ricorda che se modifichi il separatore dei decimali, devi anche modificare il separatore delle migliaia, NumberGroupSeparator.