Ho provato a convertire la tabella in MyISAM e i tempi si sono ridotti drasticamente, una scheggia, che differenza!
...la prima tabella, da cui leggeva, era già MyISAM.

Può variare così tanto da una tabella InnoDB a una MyISAM?
Adesso sono tra i 10 e 20 millisecondi per la risposta, la scrittura del registro non influenza praticamente niente il tempo di risposta!