In generale ci sono almeno 3 possibilità:
a) Se è una applicazione "grafica" come nel tuo caso, puoi usare JFileChooser (e il suo openSaveDialog) per chiedere all'utente dove salvare il file. Tu ottieni un java.io.File e usi questo per FileOutputStream.
b) Scrivi un file nella directory "corrente" (o in una sotto-directory, assicurandoti prima con mkdir() di File che la directory esista/sia creata). Ovviamente l'utente deve sapere come impostare la directory corrente quando avvia la applicazione e sapere che il file se lo aspetta lì.
c) Scrivi un file in una locazione fissa ma "nota", come ad esempio nella "home" directory dell'utente o più sotto.