Devi usare

codice:
a.setVisible(false);  //con true torna ad essere visibile
poi non ricordo se basta questo perchè magari devi aggiornare la finestra in modo che sia ridisegnata senza il JButton, cmq basta semplicemente usare il metodo validate() sul contenitore in cui si trova il JButton ed eventualmente anche sul JFrame.

Ciao.