In effetti la tua query era sbagliata. Ottenevi la media del giorno corrente e quella di tutti gli altri giorni (non del primo giorno).
La soluzione migliore è la seconda che ha scritto optime, senza la group by.
Poi ci sarebbe il dettaglio che se fai la media all'ora X ti rimangono escluse tutte le temperature rilevate dall'ora X fno a mezzanotte, ma saranno poi affari tuoi