Secondo me, la via più semplice è la seguente:
1) Dovresti preparare preventivamente un file con i bottoni settati a NON SELEZIONATO. In questo modo, la prima volta che viene aperta la JDialog, va a leggere il file e recupera i dati (inizializzati a dovere!)
2) Ogni volta che viene chisa la JDialog (magari mediante pressione su un pulsante, non so come l'hai gestito tu questo evento), viene salvato il file con le impostazioni selezionate dall'utente. In questo modo, la prossima volta che viene aperta la JDialog, essa provvede a aleggere il file (che questa volta contiene già i dati modificati) e li visualizza correttamente.
Ho notato una cosa: la serializzazione tu la applichi all'intera JDialog... non è sbagliato, ma è scomodo: in questo caso, infatti, dovresti leggere dal file di configurazione un oggetto di tipo JDialog, mentre se tu implementassi la serializzazione solamente negli oggetti in essa contenuti, dovresti leggere solamente quelli (cosa più leggera).
Ciao.