quello che devo fare, in fin dei conti, è semplicemente avere una variabile alla quale viene assegnato il bottone cliccato, l'azione intrapresa sarà uguale per tutti.
Potrei tenere un array Component[] creato dopo l'inizializzazione del frame, contenente tutti e 169 i bottoni, e quando c'è un click nel Panel cerco nell'array il bottone premuto, a seconda se contiene o no il punto cliccato (magari con un metodo fatto ad hoc)