In teoria il listener rileva l'evento se il componente su cui si trova ha il focus... E se non sbaglio JPanel è un componente passivo