Beh, io ne userei uno solo, pero' niente ti vieta di implementare entrambe le interfacce.
Pero' tieni presente che l'ActionPerformed di ActionListener coinciderebbe con il mouseClicked del MouseListener nella tua applicazione.