Devi definire un CellRenderer (o altra classe simile) personalizzato e dire alla tua JTable di utilizzare quello.
Praticamente devi dire alla JTable che il componente da visualizzare in quella determinata colonna è un JButton e non una JLabel (mi pare che di default sia una JLabel).

Poi imposti il renderer per quella colonna utilizzando il relativo metodo setCellRenderer (o simile).


Ciao.