Hai escluso il crawling da parte di qualche motore di ricerca?
Con quale user-agent si presentano?