Ci sono due modi per fare questo:

1. imposti il LOCALE ad ITALIA, significa che prende le convenzioni italiane per valori float o cmq per le migliaia
2. impostare un format rapido con String.format (dalla versione 6 di java), il quale ti consente, tramite stringa, di configurare (come faresti in C), l'output.
Guarda in entrambi i casi le API da usare, String e LOCALE non ricordo l'API (ma una rapida ricerca su google dovrebbe darti i risultati desiderati).

LOCALE

String.format