Non credo che sia possibile.
Quello che hai scritto tu servirebbe a cambiare il font della JDialog (della finestra, non dei suoi componenti!!). Oltretutto JFileChooser estende JComponent, quindi...

Per poter ottenre l'effeto che desideri hai una sola strada: estendere JDialog e ricrearti la finestra di dialogo per la scelta dei file, utilizzando il Font che preferisci per ciascuno dei suoi componenti (JLabel e quant'altro...).


Ciao.