Il punto è che hai fatto un po' di giri particolari. Hai messo il primo JScrollPane in un JPanel. JPanel ha per default un FlowLayout, che rispetta il "preferred" size dei componenti. E il preferred size di JScrollPane, se non sbaglio è quello del componente contenuto. Quindi le barre di scorrimento non dovresti mai vederle.
Poi il JPanel l'hai messo in un altro JScrollPane. Questo sì scrolla ma il JTable ormai è alla sua dimensione preferita e non può occupare tutto lo spazio disponibile.
Se vuoi che la tabella occupi tutto lo spazio (della dialog) e possa scrollare:
JScrollPane jpane = new JScrollPane(t);
dialog.add(jpane);
Sì, tutto qui.