Tu stai usando un MouseListener. E il MouseListener se ne frega dello stato del pulsante in quanto si interessa solo del click del mouse.
Devi usare un ActionListener.