Allora se non ho capito male, il tuo problema è il seguente:

Tu vuoi cliccare su un JRadioButton, poi cliccando sul JButton se è selezionato il primo JRadioButton fai una cosa, altrimenti ne fai un'altra, giusto?

Se è così puoi fare in questo modo:

codice:
JButton first = new JButton("avanti"); 
JRadioButton radio1 = new JRadioButton("singolo file"); 
JRadioButton radio2 = new JRadioButton("tutta la cartella"); 
ButtonGroup group = new ButtonGroup(); 
group.add(radio1); 
group.add(radio2);
first.addActionListener(new ActionListener(){
        public void actionPerformed(ActionEvent a){
                if(radio1.isSelected()){
                      ...//Fai qualcosa nel caso sia selezionato radio1
                } else {
                      ...//Fai qualcosa nel caso sia selezionato radio2
                }
        }
});