Riempire JTextField dinamicamente

[fermat]

mi sto impiccando su una cosa che è di sicuro una cretinata.
ho una JComboBox che ha come primo valore un asterisco.
io vorrei ottenere questo:
-se la textfield è vuota prende il l'elemento selezionato dalla combo
-sennò appende l'elemento selezionato a quello che già c'era

ho fatto un pò di tentantivi ma finisce sempre che mi impicco.
alla fine ho provato anche con uno StringBuilder:

    private void comboToItemStateChanged(java.awt.event.ItemEvent evt) {
        StringBuilder sb = new StringBuilder();
        if (!"*".equals(comboTo.getSelectedItem().toString())) {
            if (txtTo.getText().length() != 0) {
                sb.append(txtTo.getText()).append(",").append(comboTo.getSelectedItem().toString()).append(",");
            } else {
                sb.append(comboTo.getSelectedItem().toString()).append(",");
            }
        }
        txtTo.setText(sb.toString());
    }

in pratica mi duplica sempre le voci sulla textfield.
sennò ottengo la sostituzione di quello che c'è.