Separa l'interfaccia grafica dal gestore eventi:

Il gestore eventi(che implementa ActionListener) dovrà avere un riferimento alla tua interfaccia grafica (i pannelli quindi).
Poi registri bottoni ed i campi dei pannelli con addActionListener(nome-gestore-eventi) e quindi dal metodo ActionPerformed del gestore eventi controlli quando viene premuto il bottone su un pannello e di conseguenza modifichi il campo sull'altro pannello.