Questo di seguito funziona, provato.

codice:
js = new JSpinner(new SpinnerNumberModel(0.5, 0.0, 10.0, 0.1));
JSpinner.NumberEditor ne = (JSpinner.NumberEditor) js.getEditor();
ne.getFormat().setDecimalFormatSymbols(new DecimalFormatSymbols(Locale.ENGLISH));

Non mi piace particolarmente ... ma tant'è che funziona.

Se ti andasse bene impostare la formattazione "predefinita" per TUTTA la applicazione con il Locale.ENGLISH, allora da Java 7 puoi fare una-tantum all'inizio:

Locale.setDefault(Locale.Category.FORMAT, Locale.ENGLISH);

Ma questo può impattare anche su altro, quindi da valutare.