se le cose stanno come dici tu dovresti vedere nei log moltissimi "304 Not Modified"....in caso contrario o si tratta di spider o di hitbot che hanno preso di mira il tuo sito....

verifica anche se ci sono richieste ad url contenenti cose del tipo login.cgi o upload.cgi e simili.....in quest'ultimo caso il tuo sito è stato preso di mira da qualche gruppo di hacker che stanno cercando di individuare delle vulnerabilità per ottenere l'accesso