Questa notte mi è entrato un certo UbiCrawler che è andato a leggere per 1090(millenovanta) volte la stessa pagina.
Non conosco quel crawler e non so se può essere utile o meno.
Cosa mi consigliate, lascio fare o modifico il robots.txt
1090 volte sulla stessa pagina, mi pare sia troppo in un lasso di 9 ore