Ma non è meglio creare un tabbedPane che ti permette di switchare tra i vari panels?
Certo, come tutti i component di Swing (JLabel, JTextField, e così via...).
Cosa serve l'actionListener per un panel?
Serve ed esiste per i bottoni, ma per un panel non l'ho mai sentito.