il tuo header http sembra ok
puoi indicare il sito? , a sto punto sarei curioso...

non so come credo tutti quanto influenzi l'header... FORSE lo spider prima di visitare la pagina controlla dall'header se è stato aggiornato il file e ne tiene conto.
google cmq ne parla abbastanza chiaramente cito dal loro help:

Make sure your web server supports the If-Modified-Since HTTP header. This feature allows your web server to tell Google whether your content has changed since we last crawled your site. Supporting this feature saves you bandwidth and overhead.

overhead dev'essere una specie di droga sintetica